如果说国内的互联网圈子只是感到震惊,那海外的ai学术界感受到的就是恐慌。
此刻的北美正值白天。
硅谷的几大科技巨头内部,各大ai实验室的邮件系统已经处于过载状态。
位于加州山景城的谷歌总部,googlebrain深度学习实验室里,气氛压抑得令人窒息。
高级研究员理查德紧盯着电脑屏幕,端咖啡杯的手正止不住地颤抖。
五分钟前,他收到了斯坦福大学一位同行发来的arxiv论文链接。
只看完了《attentionisallyouneed》的摘要部分,理查德就感觉浑身的血液都凉了。
实验室的技术总监推开玻璃门,大步流星地走了进来,脸色铁青。
“理查德,你看过那篇中国团队发出的论文了吗?”总监的声音里带着难以掩饰的焦虑。
“刚看完摘要。”理查德咽了口唾沫,声音干涩,“你们那边组织算力跑代码复现了吗?”
“已经抽调了五十个高级工程师,停掉了手里所有的非紧急项目,占用了整个云端集群的算力在跑模型验证。”
“结果怎么样?”理查德紧张地站了起来。
“很不乐观。”总监双手撑在办公桌上,给出了一个极其消极的评价。
“代码复现组刚刚搭出基础模型跑通了第一个极小规模的数据集!理查德,我们过去三年在rnn(循环神经网络)架构上投入的数十亿美金,现在可能变成了一堆废纸。”
理查德的呼吸变得粗重起来。
两年多以前,九天实验室发布了一百五十二层的resnet残差网络论文。
那次全球学术界感到的是惊讶。
大家惊讶于中国工程师在解决梯度消失问题上展现出的巧妙工程技巧。
但那仅仅是在现有技术框架内的修补和优化。
这次完全不同。
《attentionisallyouneed》直接推翻了现有的技术底座。