韩路一刚提过苏念念,其实也给自己安排了视频会议。
和赵文渊。
赵文渊请假后就没再去办公室,最近一直在家搭数据管线——鼎盛那边的程序走完前,先把准备工作做起来。
两人先过了一遍训练策略。会议结尾,韩路一问起时间线。
“文渊,鼎盛那边的账户大概这两天就能配好,你这边什么时候能开跑?”
电话那头,赵文渊停顿片刻,像在组织语言,才开口:“韩总,就算算力到位,开跑前还有一道坎。”
“什么坎?”
“上周五跟你说的,预训练数据的预清洗。”
韩路一坐在办公桌前想了想,是有这么回事。
“咱们现在手里有什么?坎在哪?”他问。
“moncrawl里的数据,还有公共版权的书籍资料。我想在清洗这块优化一下,搞了几天还没头绪。”赵文渊解释。
“嗯……我晚上回去看看。”
挂断视频,韩路一在办公室里思索起来,随即想起赵文渊的属性面板。
【赵文渊】
【技术s(研究ss)|协作c|稳定a】
【特技:大模型训练|大模型后训练】
后训练是他的强项,预训练这边可能就没那么熟。
当然,大模型出来几年,论文发了那么多,大家没吃过猪肉也见过猪跑。技能可以迁移,摸索摸索,预训练没那么难。
想从头做大模型,真正的瓶颈还在数据和算力。
数据分两块:原始数据和标注数据。
标注数据这块,靠视界,韩路一已经拿到世界顶尖的标注。数量还不太够,但肝一肝总会有的。