但汉语显然并不是短时期内能够速成的。

对于预训练模型林灰所谓的“微调”的“微”究竟应该如何理解呢？

只是一点点小小的调整么？

还是说所谓的“微”只是因为林灰本人对这一事情难度的蔑视。

尹芙·卡莉觉得应该是后者。

不太可能是微小的调整。

为什么尹芙·卡莉这样想呢？

尹芙·卡莉觉得涉及到文本摘要方面的模型往往都是极其复杂的。

一个正式模型所涉及到的参数都是极其繁多的。

更何况是预训练产生的预训练模型呢？

这种先于正式模型产生的粗模型可能参数要更加复杂。

当然，这只是尹芙·卡莉的一点猜测。

涉及到这些问题只有林灰本人才可能有真正的答桉。

自从来到林灰的身边之后。

原本尹芙·卡莉以为自己的问题会逐渐变少。

但实际却是问题愈发变得多了起来。

至少刚才的那几个问题在美国的时候尹芙·卡莉就从来没疑惑过。

但对此尹芙·卡莉并没有灰心丧气。

科研方面从来都是提出问题比解决问题更重要。

尹芙·卡莉很清楚，虽然此时她的疑惑比在美国时候的疑惑还要多。

但这无关紧要，至少她现在提出的问题相比于以往那些问题现在才更接近技术的本质了。

而这就是学术方面的成长。

尹芙·卡莉也不是一无所获。

原本她一向是比较好奇林灰这个此前几乎在文本摘要方面及及无名的人究竟是怎样在短时间做到弯道超车的。

毕竟涉及到语言模型的构建往往需要大量的时间。

但现在知道林灰搞的这个预处理之后。

尹芙·卡莉则感觉这个问题似乎不是太大问题。

按照林灰在论文补充内容提出的预训练机制的这个思路进行操作。

虽然引入预训练机制后仍然需要进行训练。

甚至看起来步骤要更繁琐了一些。

但尹芙·卡莉估计同等规模语料库下的训练

引入预训练机制的训练要比常规的至少能够节省50的时间。

模型的训练引入预训练的处理方式会带来效率的提升。

这里面的道理通过学习方面的例子做类比很容易明白。

通常情况下，通过掌握知识的共性之后再攻克疑难显然效率上是比按部就班进行学习要高的。

同样的道理，机器学习的时候让机器掌握数据的共性之后再搞剩下的标注数据也会带来效率的提升。

林灰一度就是尹芙·卡莉眼中绝对意义上的天才。

在尹芙·卡莉看来天才的重点不在于“才能”，而在于“天分”

所有人似乎都知道的走出房间要找到门，却各种找不到门路。

而天才就是那个在众人茫然眼光之下信步走到门前并轻轻推开门的那个人。

在所有人面对着抽取式摘要算法的瓶颈而找不到走出文本摘要这个房间的方法之时。

l恰到好处地出现了，在所有人的茫然下信步般推开了一扇被称为是“生成式文本摘要”的崭新的门。

而现在来看，尹芙·卡莉觉得她以前的认知还是差点意思。

事实是林灰不光是绝对意义上的天才，还是当之无愧的强者。