每天早晨刷一遍arxiv,看看关注的几个分类下有没有新东西,是这个圈子里大部分研究人员的基本习惯。
江松然这个习惯保持了十几年:从上学到谷歌,再到创业公司。
回国陪床两个多月,虽已没有工作要做,每天刷arxiv的习惯却还留着。
江松然的目光从上到下快速扫过,一篇新发布论文的题目吸引了他的注意。
《onadaptingmemory-efficientattentiontonon-cudaheterogeneousaccelerators:asingle-operatorcasestudy》(非cuda硬件上的注意力算子适配:一个单算子的案例研究)
作者只有一个:wenyuanzhao。
江松然在脑中过了一遍这个名字,没什么印象;点进作者页一看,其他论文都与训练架构理论相关,这篇是他第一篇涉及硬件领域的论文。
江松然心中一动:如今非cuda适配这么热门了?其他领域的研究者也跨界来研究?还真是天下苦英伟达久矣。
他又退回去看团队名:sourceintelligenceai,一个没听过的中国公司。
江松然生出一种复杂的感觉:这也是在做算力国产化,里面到底有多少真东西?又有多少是噱头?
最终,他还是点开看了。
最打动他的,是这篇论文只有一个作者。
在工业界做过科研的人知道,公司发论文很少出现单作者。不是说一个人做不了研究,可既然公司赞助了研究,相关方总得挂个名吧?
单作者很少见:要么真没有团队,要么公司不在乎,只给主要研究者署名。
无论哪种情况,这篇论文都值得一看。
pdf加载出来,江松然先看摘要。
“本文报告了一款国产非cuda加速器上内存高效注意力机制的端到端实现:在单节点8卡配置下,吞吐达到对应cudnn参考实现的83%,数值误差在2.3e-6以内。”
看完摘要,江松然在心里嗤了一声。
这数据,注水了吧。
既然已经打开,他还是耐着性子往下看。
出乎意料,论文结构清晰,数据详实,用词严谨;实现一节甚至给出具体优化方法和一些代码片段,有心的话,复现起来应该很容易。