顾司玥把头转过去,不看他:“现在不是工作时间。”
韩路一一愣,随即反应过来。
不是工作时间,所以也别叫“顾大律师”。
他笑了笑,没再说话,闭上眼,开始期待汤圆的训练进度。
赵文渊回海城后,他还没顾上仔细跟进。
但他知道进度应该不错。
因为视界的经验值已从百分之十涨到百分之十五。
这说明汤圆的训练正给视界带来新的反馈。
也说明他的判断没有错。
大模型这条路,真的和视界存在某种深层关联。
韩路一靠上椅背,心情放松了些。
京城之旅结束,终于要回海城了。
……
可此时此刻,坐在办公室里的赵文渊,心情并不美丽。
不是因为汤圆的预训练。
恰恰相反,汤圆的预训练进展顺利。
业内关于预训练的策略已很成熟。赵文渊回海城后连读几篇论文,又用小数据集调整训练策略和参数;确认损失曲线没有明显问题,便正式在鼎盛集群上全量开跑。
从那一刻起,这件事就进入真正的水磨功夫:一次训练开始,往往几十天不能停机。
成百上千张高算力显卡组成集群,海量数据被切分、打包、送入模型。
每一秒,都有无数矩阵计算在显卡间传输。
每隔一段时间还要对中间结果做快照,防止偶发故障造成数据丢失。