赵文渊的声音里压不住兴奋:“这是单看意图理解维度的结果,评测集用ifeval标准框架,再加上我自己设计的深层意图还原测试,一共一千二百道题,覆盖十六个不同场景。”
他用手指点了点那根浅蓝柱子。
“看见了吗?83.7。”
韩路一当然看见了,也留意了第二、第三名。
gpt是78.2。
gemini是76.9。
他还特意扫了一眼水星的分数——就是刚才瑞恩展示的那个——这一项是74.8。
赵文渊问:“韩总,猜猜哪个是我——不,是咱们训练出来的模型?”
韩路一露出无奈的神情。
都整得这么明显了,我还能猜错?
他指了指水星:“这个?”
苏念念在旁边白了他一眼:这两个人,一个敢问,一个敢猜,她怎么忽然对这家还没成立的新公司没那么有信心了呢?
赵文渊知道他是故意的,嘿嘿一笑,往后翻页,讲起这项意图理解测试。
韩路一很快听明白了。
意图理解,简单来说,就是模型能不能读懂用户真正想要什么。
用户敲进去的字只是表面;表面之下,是处境,是约束,是没说出口的真实需求。
绝大多数模型做的是理解字面意思,再给一个正确却泛泛的回答。
px-7b却能从同样的输入里读出用户真正想要的东西。
这任务极难,参数量大几十倍的模型都未必做得好。说到底,模型只能学到训练材料里有的东西;而大部分模型拿到的原始数据和标注数据,根本不足以知道用户的真实意图。
只有韩路一提供的标注数据能做到这一点。
这也是px-7b如此强的原因。