「我比较好奇一个问题,这麽超出预期的一个表现,贵公司是怎麽实现的呢?」邵教授问完,又赶紧补了一句:「您挑方便说的说,要是都不方便说也没关系,我绝对没有要问商业机密的意思啊。」
陆正平看了邵教授一眼,又看了韩路一一眼,想了想,还是没有出声制止。
韩路一倒是没什麽感觉:「数据好。」
他自己知道,赵文渊对训练管线做了相应的微调,但那也是为了适应汤圆的原始数据和标注数据。
归根结底,汤圆能做出这个成绩,还是来源於韩路一出的数据。
毕竟,汤圆在训练的过程中也没有发明什麽新的算法,也没切换什麽新的路线。
它只是在这个方向上,这个规模上,把数据卷到极致了。
出来的效果就是这麽好。
听了韩路一这麽直接的回答,邵教授一愣。
他其实第一反应是不信,因为这条路不是没人走,包括矽谷的顶尖模型也在走,如果汤圆走的是同一条路的话,她凭什麽做到了世界第一呢?
韩路一这边话没停,还详细地解释了一下:「汤圆的模型架构、训练方法都不是什麽独特的发明,汤圆之所以能做到这个程度,核心原因就两点」」
「一是在预训练阶段,数据的质量足够高。」
「二是在後训练和对齐阶段,标注数据的质量足够高。」
「我们不是把大量的垃圾喂进去,然後指望模型从垃圾堆里学知识,我们做的工作在训练之外,保证让每一个词元都有价值。」
这没有什麽好隐瞒的,汤圆的护城河在数据上,不在训练方法上。
况且韩路一还馋着在座两位教授的影响力,自然愿意表现出一点儿诚意来。
在座的几个人,除了陆正平之外,都是业内的行家里手了,听了韩路一的话,都思考了起来。
这个理论不是新理论,但是方法听起来是个笨方法。
最大的问题是,这个方法很难scale(规模化)。
现在一个大模型几千上万亿的词元,你怎麽去保证质量?
倒是陆正平听出来一点儿别的东西:韩总刚才是不是说他负责的部分就是数据收集来着?他刚才说的这两点,不都和数据有关吗?