《汤圆模型国产算力适配路线图》
然后,赵文渊一下飞机,连家都没回,拖着行李箱直奔办公室。
他接了杯咖啡放在桌上,打开电脑,挽起袖子,准备扯断套在国产显卡上的生态枷锁。
结果,赵文渊一头撞上了墙。
不,甚至不能说是一堵墙。
那简直是一座山。
cuda生态困境,这个当年在谷歌折磨他的噩梦,这次又以更可怕的姿态出现。
在普通人眼里,显卡就是显卡,国外显卡能算,国产显卡也能算,无非性能高些低些。
但对做ai大模型的人来说,显卡可不是单独一块硬件,背后是一整套生态。
最底层是驱动,驱动之上是运行时,再往上是编程模型,编程模型之上是算子库、通信库、编译器、调试器、性能分析工具。
再往上,才是pytorch、tensorflow、jax这些训练框架。
大模型训练又站在这些框架之上,调用各种高度优化的算子和分布式训练能力。
英伟达的cuda生态就像一座修了十几年的超级城市,水电、消防、医院等基础设施都运转多年。
训练大模型就像在这座城市里办一场大型体育赛事。
数十万游客涌进来,对整个城市的承载能力都是巨大考验;但因为是超级城市,精心调度之下还做得到。
换成别的生态呢?你在大城市旁边的小镇,说我能不能也开个世界杯啊?
当然可以试试,但这不是叫两支足球队过来踢球那么简单:小镇从地下管网到商业生态都得重建一遍,等它也成了超级城市,才行。
更要命的是,全世界的人都已习惯这座老城市的规矩:写代码时默认cuda可以调用,默认用英伟达显卡,论文里说的也都是在英伟达上才能跑通的用例。
不用英伟达?那你自己试试吧。
本来能跑的代码,把cuda依赖删掉,一下冒出一千个错误;修完第一个,又冒出一千个。
模型能跑,不代表跑得快;小模型能跑,不代表大模型能跑;单卡能跑,不代表多卡能跑;多卡能跑,不代表千卡集群能稳定训练几十天。