第二百八十六章 视界,加点

作者:路大头 加入书签推荐本书

视界展开的一瞬间,韩路一眼前弹出了一大片光幕。

【任务:l100算子适配】

【当前领域掌握度:23.4%】

风险提示:目标领域涉及gpu体系结构、并行计算、编译器优化、数值分析、深度学习模型结构、硬体驱动接口、工程调试经验————】

韩路一看着後面一长串专业名词,陷入了长久的沉默。

你要说这里面的东西,我也懂一点儿,但是这要求的知识也太多了吧。

就算是重新高考一次,再读个电子工程的本科,再读个晶片设计的研究生,再读个人工智慧的博士,再再什麽也不行啊,这根本不是给一个人干的活儿,英伟达对应做这个工作的团队怕不是有几百人,而且人家都做了快二十年了。

也不怪矽明的软体团队於了一年多,也才覆盖了不到百分之五的使用场景。

源智要是没有韩路一开挂,再加上江松然贡献了他在谷歌和创业公司积累的宝贵经验,汤圆现在连想找个跑的地方都没有。

算子适配这个东西,字面上来说,就是把一个能在英伟达显卡上跑的函数,换到l100这张新显卡上跑起来。

听起来像是把这个一加一的算式从一张纸抄到另一张纸上。

但是这个比喻是完全错误的!

如果真要比喻的话,应该是把一支交响乐团从一个剧院换到一辆公交车上,空间是足够的,但是你怎麽保证在公交车上还能演奏出和剧院里一样的效果来?

小提琴放哪,大提琴又放哪;黑管放哪,圆号又放在哪。

最关键的是,指挥熟悉的所有的动作、位置,都得重新编排。

这才是算子适配的难度。

大模型里的算子看起来就是矩阵乘法、归一化、注意力、激活函数这些纯数学的东西,但是到了硬体层面,每一步都是海量数据的并行计算。

一个数据从显存里被读取出来,放进寄存器,放进共享内存,再被不同的线程反覆使用。

就连数据块切成多大,读取多少,都得经过细致的设计。

读多了,显存带宽爆炸,直接训练失败。

读少了,计算单元空转,利用率上不去。

上一章 返回目录 下一页