会议开始,赵文渊先定了议程。
「今天这个会议呢,主要是给两边的团队定个调,我们研究院最新研发出来的豆汁儿模型,它能做什麽、不能做什麽、适合做什麽,功能方面我上午已经给江总演示过了,一会由小牛来给大家再简单地过一遍。然後主要讨论一下接下来双方怎麽合作,如何把这个豆汁儿模型放到调度层里。最後做一个简单的排期。」赵文渊说完,向韩路一问道:「韩总,您看还有什麽要补充的吗?」
韩路一想了想,说了一句:「我说一句吧,开会这种事情要开到点上,如果现在在场的谁觉得不能在这场会议里贡献意见,只是想来跟进进度的话,可以先离场,之後看会议记录也是一样的,不用在这浪费时间。」
韩路一说完,看了一圈,倒是没有人离场。
然後他接着说道:「还有就是,每场会议开始之前都应该有预期产出,我刚才听了一下,这场会开完,会把合作计划和排期定下来,是吧?会议结束的时候记得总结一下。」
说完之後,韩路一对着屏幕点了点头,说道:「小牛,开始吧。」
小牛站起身,清了清嗓子,说道:「韩总,江总,我先给大家做一遍演示。」
小牛共享屏幕,做了一遍演示,和高管例会上赵文渊做的演示基本一样,海城会议室里,基础设施部门的员工都是第一次看到成果,心中初步满意,但是也不免有着怀疑。
单个请求做的又快又好,就是不知道并发上来了之後表现如何,以及会占用多少资源。
豆汁儿要代替汤圆来做调度辅助,除了精度不能拉胯之外,还有一个问题就是它本身不能太消耗算力,不然省出来的算力都用来跑调度器了,那就完全没有意义了。
江松然率先提出了这个问题:「这个豆汁儿模型,想支持十万qps的话,需要用多少算力?多少资源?」
现在整个起源所有自有算力的吞吐量大概就在十万qps这个量级,江松然所以有这麽一问。
这是把豆汁儿接入每一个调度请求所需要的资源。小牛拉出一张图标来,说道:「江总,我们已经做过压测了,我们自己使用的八卡l100,大概能做到两万四千的qps。」
这个数字让海城会议室的人都是一惊。
那岂不是说,就算加上资源冗余,想要服务整个起源所有的推理请求调度,也只需要用四十张l100左右的算力?
这个豆汁儿模型也太小太省算力了吧。
江松然对身边的基础设施总监陶封说道:「老陶,刚才赵总那边说,豆汁儿模型的判断准确率能达到98%,按照这个数据估算,如果现在把每一步算力调度都跑一遍豆汁儿模型,按照我们之前的估算,大概能提高多少效率?」
陶封在面前的笔记本电脑上迅速操作了几下,回答道:「之前我们测算过,总体算力的百分之三十左右是由於资源错配被浪费掉的,如果能达到这个准确率的话,应该至少能救回来百分之二十。」
现在两个数据中心一共部署的三万张左右的计算卡,能从里面优化出百分之二十的性能的话,就意味着凭空多了六千张卡。
四十张卡,能换出六千张卡的算力来,这就是豆汁儿模型的价值。
韩路一在旁边暗自思量,离赵文渊之前要求的万卡训练集群还有点儿差距,还得再想想办法。