第一百九十一章 分成两段的人生

作者:路大头 加入书签推荐本书

但最触动江松然的,还是局限性那一节。作者诚恳写道:“本工作只完成了单算子(sdpa)的实验性适配工作,没有涉yernorm、softmax以及各类optimizer等数十个其他算子;没有涉及多卡间通信库;也没有涉及训练场景下的反向传播与混合精度优化,所以还不能构成一套可用的训练栈。”

江松然叹了口气:这个作者一句话就把他们这些研究者的困境写透了。

这种吃力不讨好的事,国内竟真有人做。是,你可以一个一个研究,研究出一个,还能发一篇论文。

可整套生态里,只要有一个关键算子没做完,就真没什么用。

这种活儿江松然熟得很,谷歌tpu团队的头两年就是这么熬出来的。

只不过谷歌当年有几百名工程师;这个叫sourceintelligence的团队有多大?又投了多少资源?

江松然在心里默算:从论文提到的内容,到从头做出一套国产化训练生态,今天到底还差什么。

剩下的几十上百个算子、多卡通信库、分布式训练框架、编译器、容错与检查点——这么大的量,远不是一个公司做得出来的。

如果国内真能有几百个团队,都像这一个那样沉下心,安静地做这种没人鼓掌的事,国产化也未必没有可能。

可惜,没有几百个这样的团队。

正想着,母亲从外面进来,一进门就唠叨。

“松然,累坏了吧?快回去睡会儿。你在医院陪床也得注意休息,别你爸还没醒过来,自己先病倒了……”

江松然确实累坏了。

他和母亲交代几句,略收拾一下,拿上电脑,走出病房。

走到住院部一楼,他看见一个瘦高帅气的年轻人站在大门边,背着双肩包,像在找人。

江松然正看着,那年轻人也看过来,似乎看到了他,冲他笑着点头,向他走来。

那人的眼神亮得惊人。

江松然不确定他是不是冲自己来的,也点头回应。

上一页 返回目录 下一章