讲完,赵文渊郑重道:“韩总,我做这行这么多年,从没见过一个7b的东西能在任何单项维度上打赢gpt-4,从来没有。”
“而且这才第一轮,只跑了几个epoch,超参数都没调到最优。在这个基础上再调几轮,后面还有上升空间。”
苏念念一直没作声,这时才轻声开口:“意图理解……这不就是开物一直想做的事吗?”
韩路一点头,心里也涌起一阵激动。
视哥,给力!
沉吟片刻,他问:“如果有十万条这种精度的数据呢?”
赵文渊仰头,对着天花板想了一阵。
“十万条这种精度的标注,”他慢慢说,“理论上足够在70b甚至更大的基座上,把意图理解能力拉到当前行业天花板之上。”
“这可不只是提升几个百分点的事,你可以想象从gpt-3到gpt-4那种级别的换代。”
“而且到那时候,就不只是意图理解一个维度了。意图理解是模型的基础能力;模型一旦真正学会理解人话,所有下游任务的表现都会跟着变强:回答更精准,代码更贴合需求,内容更有针对性,用户满意度也能提升——”
赵文渊停住,意识到自己说远了。
“这只是理论上的。”他往回收了一步,“实际操作还要看数据分布、训练稳定性、泛化表现等等,不能简单线性推理,但大方向上肯定没问题。”
他接着说:“这个效果、这个水平的标注数据,拿到任何一家大模型公司做对齐训练,都能让意图理解直接上一个档次。”
“韩总,我融资经验不多,但可以肯定地告诉你:我们不会缺钱了。”
韩路一和苏念念对视一眼,都因这个好消息振奋起来,方才nexusai带来的压力也被一扫而空。
“参数调完,做一个最优原型出来,大概还要多久?”韩路一问。
“一周吧。”说完,赵文渊面露难色,“不过,要占用工作时间。”
这正是两人之前讨论过的灰色地带:在工作时间使用工作资源做出的成果,源码科技可以主张所有权;如果弘远真和韩路一闹僵,这就是隐患。
想了一会儿,赵文渊说:“我先请一周无薪假,先把成果做出来。”
韩路一点头:“不用过沈丛云,我来批。”
赵文渊正要起身告辞,韩路一叫住他,转头看了苏念念一眼,才开口:“既然训练结果不错,趁你们两个都在,我说个事。”