韩路一在旁边笑了一声,开口解释:“退火本来是冶金里的术语,因为形象,模型训练时也借鉴了过来。”
张彪想了想,说:“就是铁匠打铁,往水里“嗤”的那一下?”
赵文渊纠正:“你说的那个是quenching,中文叫淬火,要的是急速冷却。退火不一样,是慢慢冷却。”
韩路一说:“不用纠结这个,就是个比喻,差不多就是那个意思。”
然后韩路一从张彪手里拿过笔记本和圆珠笔,边画边说:“咱们说过,模型训练分为预训练和后训练。但在预训练的最后阶段,还有一个特殊阶段,就是退火。”
说到这儿,韩路一已经在本子上画出一个简单示意图,用笔在其中一个地方点了一下。
“在这里,前面喂的数据已经足够多、足够杂了,但都是些背景知识。想让模型的基础能力提升,这个阶段要单独给很多高质量语料,比如经过筛选的代码库、文学出版物之类。”
韩路一画完,觉得解释得似乎还不够通俗,于是又加了一句:“如果说一开始的阶段是从小学到高二上课学知识,现在就是高三复习刷真题。不是什么都学,而是只学最经典、最有代表性的题。”
然后他把笔记本转回给张彪。
张彪接过笔记本,对韩路一举的例子并没有什么感同身受——他没刷过真题。
但他感觉自己这一回听两个高材生讨论,已经不像以前那么一头雾水了。
“这个阶段一般耗时比较短。”韩路一说完,转向赵文渊,“你预计还需要多久?”
赵文渊伸出一只手:“最慢最慢,五天就够了。”
然后他把手收回去,端起拿铁喝了一口。
“退火数据是我和团队之前就准备好的,三千万条高质量代码片段,一批精选的各领域书籍和学术论文。”
“原因呢?”韩路一问,“是大年初一修了那次数据问题之后,曲线更稳了?”
“那是一部分。”赵文渊点头,“主要原因是您前面写的那套清洗规则收益比预期高,原始数据质量显著高于业内标准。无效数据少了以后,同样的训练步数,实际有效学习效率高很多。”
韩路一点了点头:视哥出品,让人放心。
赵文渊说着,拿出手机,调出一张曲线图。
“这是修正前后的对比。之前我担心最后阶段会震荡,所以留了比较大的冗余。但现在看,没有必要,可以直接上退火数据。”
韩路一看着曲线,没有立刻说话。