韩路一开口问道：「所以这类任务，有比使用汤圆的轻量版更好的解法?」
视频里的赵文渊露出一副高深莫测的笑容：「有的，韩总，有的。」然後他开始解释道：「当初transfrmer架构刚出来的时候，用的是编码器-解码器(encer-ecer)架构，但是现在的类pt架构的大模型，包括汤圆，全都使用的是只有解码器的架构。这当然是因为这个路线足够优秀，能够解决非常复杂的问题。但是实际上不同的路线适用的是不同的问题，我们刚才讨论的这种分类问题，有一种更适合的架构，就是只有编码器的架构。」
江松然此时惊讶地出声道：「你是说bert?」
韩路一慢了一拍才反应过来。bert是谷歌在2018年提出的一种技术路线，在pt出来之前也曾经在机器学习领域非常热门，但是随着类pt模型成为市场主流，现在已经渐渐没什麽提起了。
「你是说?」韩路一问道。
「传统的bert大概是在几亿参数这个级别，而且因为不需要自回归生成预测，它不需要反覆地进行前向运算，只需要一次就能得出结论，对於我们刚才说的分类任务，完全可以做到50毫秒以内。」
「多少?」江松然的呼吸都变得急促了。
「还不止，我刚才说的是通用分类器，使用这个思路，我们完全可以训练对调度任务进行特化的分类器，汤圆api开放到现在我们积攒的调度数据就足够进行训练了，这种情况下我们连几亿的参数都不需要，可以把参数压缩到千万这个级别，这种模型的一次运算——」
赵文渊一口气说了一大段话，也是越说越兴奋，说到这特意停顿了一下，才伸出两只手，五指张开，说道：「我说一个数，10毫秒。」
「不可能！」江松然脱口而出。
韩路一倒是没有表态，现在还只是在讨论技术方向，10毫秒的任务分类确实很夸张，这个速度都能赶上用代码写死的规则集分类了，更别提用模型动态分类了。
但是即使达不到10毫秒，50毫秒也足以让每一次任务调度都跑一次这个新的分类器模型了，如果还能保持现在汤圆1.0的精确度的话，整个调度层的效率还能再往上提一大截。
同样的硬体，同样的算力集群，通过这种优化就可以发挥出比之前高好几成的效果来。「文渊，这个技术思路你想了多久了?」韩路一问道。
视频里的赵文渊一愣，然後「嘿嘿」笑了两声，说道：「韩总，我是咱们讨论的时候刚想出来的。」
霍，听起来像模像样的，竟然还是刚刚头脑风暴出来的。
「那如果做这个技术验证，需要多久?」韩路一继续问道。
「几千万参数的话，包括前面的数据清洗加上後面的调参，我估计一两个星期就能做出个原型出来。」赵文渊想了想，说道。
然後他看了一眼韩路一，突发奇想道：「韩总，您要不要——」
韩路一开口打断他：「我最近很忙，没工夫帮你洗数据。你先安排人把这个模型做出来，让老江这边测试一下，看一看分类的准确度和上生产环境的实际延迟。」
赵文渊迟疑了一下，问道：「韩总，这个东西有多优先?」
韩路一笑了一下：「要是真有你说的那麽好用，你要的训练算力就能一下省出来一半，你说有多优先?」