韩路一还没反应,姜亦心已兴奋地问:“汤圆能用了?”
韩路一和赵文渊一起看向她。赵文渊不得不泼了盆冷水:“不能用。”
姜亦心一愣:“你刚刚不是说,那个什么,跑过分儿了?”
她是计算机科学本科,本职做编程,平时对ai大模型的了解主要集中在怎么用,对训练流程完全不了解。
赵文渊一听就知道怎么回事,想了想,还是解释了一下。
“现在完成的是预训练,得到的是基座模型(basemodel)。但想能用,还得再经过一个后训练阶段,得到对话模型(instructmodel)才行。”赵文渊说,“所谓跑分,或者说模型测评,确实是在预训练之后这个阶段进行。这个时候测的是模型的逻辑和知识,你可以理解成理综考试。”
“那这个基座模型和对话模型有什么区别?”姜亦心问。
赵文渊把手里的电脑放在桌上,打开:“正好给你试试。”
这个基座模型连对话框也没有,但在命令行里仍可输入、输出文字。
姜亦心想了想,输入一个问题:“「为之于未有,治之于未乱」是什么意思?”
很快,模型回复显示出来:“「合抱之木,生于毫末」是什么意思?「九层之台,起于累土」是什么意思?「千里之行,始于足下」是什么意思……”
姜亦心看得目瞪口呆。
赵文渊在旁边笑道:“怎么样?是不是和你熟悉的ai大模型不一样?”
确实不一样。姜亦心已习惯chatgpt那种ai:问一个问题,可以给出一长串回答,不管回答对不对,至少看起来很合理。不少人沉迷和ai聊天,可这个基座模型看起来只能接话,不能对话。
“实际上,这就是transformer大模型最初的样子。一直到gpt-3时代,人们都是这么调用模型的。”赵文渊说,“你想问一个问题,就得把它包装成特殊格式,让模型去接你的话,根本不好用。”
“一直到instructgpt横空出世,这一波ai时代才真正到来,从实验室走向大众。人们都说transformer是划时代的发明,可我觉得,instruct理论的提出,重要性不亚于transformer。”
看历史课讲得差不多了,韩路一这才插话:“你说结果比预期好,到底有多好?”
赵文渊反而不着急,对着韩路一缓缓吐出一个词:“sota。”
sota,stateoftheart。
意思是,当前最强水平。
韩路一自己就是个老装逼犯了,哪会不知道赵文渊现在期待什么。