第334章 林启航

作者:施安拌面 加入书签推荐本书

下午三点。

英伟达园区。

黄任寻安排了一间小会议室。

桌上放着openai经过处理的训练报告。

三点十分。

会议室门被推开。

一个三十左右的华裔青年走了进来。

他穿着格子衬衫,头发有些凌乱,鼻梁上架着一副棕色眼镜。

林启航先朝黄任寻打了声招呼,目光随即落向陈默:“黄总说,openai想找我聊聊?”

“坐下先看。”陈默将报告推至他面前。

林启航翻开第一页,神色尚算平静。

翻到第三页,指尖的碳素笔已在几组通信延迟数据旁划出痕迹。

到了第五页,他的速度明显慢了下来。

“你们把所有参数更新都堆在同一个通信阶段?”

“目前是。”

“难怪会堵。”林启航笑了一声,手里的笔几乎没停,“显存分配逻辑也有问题。不同长度的序列全按最大空间预留,大部分根本没必要保留,直接重算成本反而更低。”

“单卡训练还能硬撑,放到几百张gpu的集群里,这种愚蠢的浪费会被成倍放大。”

他拿起笔,在空白处画出几个简单方块。

“参数更新可以拆开。”

“这一层计算时,上一层便开始通信。”

“再将数据按照长度重新分组,减少无效填充。”

上一章 返回目录 下一页