快照不能太频繁,否则拖慢训练效率;间隔也不能太长,否则一旦集群故障,前面几个小时甚至几天的训练都可能白跑。
其中涉及的资金需求、工程能力、集群调度、故障恢复,不是小公司能轻易负担的。
这也是赵文渊一直说大模型不是谁都玩得起的原因。
没有足够的算力,连牌桌都上不了。
没有足够强的工程团队,即便上了牌桌也没用,只会被自己的训练任务拖死。
这次源智科技和鼎盛签了合作协议,赵文渊拿到一个特殊设置的账号。
账号有鼎盛云内部权限,可调用专门用于大模型训练的gpu集群。这种集群在鼎盛云乃至各家云服务商那里,根本不是普通客户打开网页、充值余额就能买到的服务。
有钱你也买不到。
所以韩路一能拿到鼎盛算力,的确走了一条大大的捷径。
赵文渊承认这一点,但也很不爽:他们还得防着鼎盛偷标注数据。
这一轮训练出来的汤圆,只能是“残血版”。
最核心、最值钱、最能体现源智科技优势的数据,赵文渊根本不敢往鼎盛集群里放。
就像一个特级厨师终于借到顶级厨房,却只能把最精华的调料藏起来,用一半配方做菜。
这还怎么做出发光的料理呢?
不过,这些都不是赵文渊现在最烦的。
真正让他烦躁的,是韩路一从京城回来前给他下的新任务——研究国产显卡适配。
离开京城时,赵文渊兴奋地上了飞机。
甚至可以说热血上头。
国产算力、自主可控、摆脱海外gpu生态,让大规模大模型训练和推理在国产显卡上成为可能。
这几个关键词一拎出来,就能让技术人心跳加速、热血沸腾。
赵文渊甚至在飞机上就建了文档,列了好几页计划。