下午三点。
英伟达园区。
黄任寻安排了一间小会议室。
桌上放着openai经过处理的训练报告。
三点十分。
会议室门被推开。
一个三十左右的华裔青年走了进来。
他穿着格子衬衫,头发有些凌乱,鼻梁上架着一副棕色眼镜。
林启航先朝黄任寻打了声招呼,目光随即落向陈默:“黄总说,openai想找我聊聊?”
“坐下先看。”陈默将报告推至他面前。
林启航翻开第一页,神色尚算平静。
翻到第三页,指尖的碳素笔已在几组通信延迟数据旁划出痕迹。
到了第五页,他的速度明显慢了下来。
“你们把所有参数更新都堆在同一个通信阶段?”
“目前是。”
“难怪会堵。”林启航笑了一声,手里的笔几乎没停,“显存分配逻辑也有问题。不同长度的序列全按最大空间预留,大部分根本没必要保留,直接重算成本反而更低。”
“单卡训练还能硬撑,放到几百张gpu的集群里,这种愚蠢的浪费会被成倍放大。”
他拿起笔,在空白处画出几个简单方块。
“参数更新可以拆开。”
“这一层计算时,上一层便开始通信。”
“再将数据按照长度重新分组,减少无效填充。”