郑晓波这话一出口，刘大海便明白，自己不必再多说了。
看来，郑总是真懂啊。
这其实不奇怪。执掌鼎盛这样的巨头，总得有两把刷子；哪怕不懂原理，至少也得知道个大概，跟下属沟通的成本才能低不少。
像郑晓波这样的企业高管，对ai行业的关注，甚至不比投资人和从业者少。
scaleai是硅谷近来最火的ai创业公司之一，可它既不做大模型，也不做ai应用产品，业务只有一项——卖标注数据。
仅凭这一项业务，scaleai的估值就做到了几百亿美金。
也好。既然郑总懂，刘大海就不用从头讲起，直接上干货。
“去年六月，微软研究院发过一篇论文，叫《textbooksareallyouneed》（你只需要教科书）。他们用精心筛选的教科书级数据，训练出一个十三亿（1.3b）参数的小模型，名叫phi-1。就是这个模型，在代码生成任务上打赢了市面上那些参数量是它十倍、训练数据是它一百倍的大模型。”
程远插话：“刘博士，这是什么意思？”
“这么说吧，当时除了gpt，没有一个模型跑得过它。这个十三亿参数的模型，只用8张a100训练了4天，折算下来的训练成本也就几万美元，就这么点。论文证明了一件事：只要数据质量够高，小模型也能干翻大模型。”
说完，刘大海转向郑晓波。
“这和汤圆的情况完全吻合。7b，也就是七十亿参数，一万条训练数据，在意图理解上打赢了坤元。我猜，他们的秘密武器就是数据质量足够好。”
最近几年，一个新观点正成为ai行业的主流：谁的标注质量高，谁的模型就强。
原因主要是架构近来变化不大，算力的边际效益又在递减，而高质量的数据标注还有很长的进步空间。
问题是，所有人都知道数据标注重要，却没人知道标注质量要高到什么程度才算够。
openai、anthropic、meta每年都要在数据标注上砸几十亿美金，模型表现也确实一代比一代强，可进步越来越慢。谁也不知道什么时候会撞墙，更没人知道极限在哪。
不管资本炒得多热，这个行业的从业者都像在一望无际的大海上摸索前行。
直到昨天看到汤圆，刘大海才确信，自己看见了未来的信标。
最后，刘大海说出结论：
“从模型表现倒推，他们的标注精度，恐怕是我从业这些年能想象到的最高水平。”
郑晓波没说话，低头沉思。好一会儿，他才开口：“那他的数据，会是从哪儿来的呢？”