让输入跨过中间层，在他看来像是给网络偷懒。
“这在前向传播上说得通。”成文飞拿起笔，“但反向传播呢？梯度经过加法结构，会不会出现新的不稳定？”
“我也在算这个。”
何恺明把白板擦出一块空白，写下损失函数和输出表达式。
“假设y=f(x)+x，反向传播时，损失对x的梯度不只经过f这一条路径，还会多一条直接传递的路径。只要加法结构没有被破坏，梯度就能沿着捷径回到浅层。”
成文飞接过笔，在公式旁边补了一行。
两个人很快投入推导。
实验室里只剩下笔尖划过白板的声音，旁边的研究员也围了过来。
成文飞不断提出问题，何恺明不断修改表达式。
一个小时后，成文飞放下笔。
“成教授，先别判断它是不是普适，跑一次数据会回答。”
成文飞看着白板上的结构图，“那好，准备实验。”
“现在？”
“现在。”
“语料还没完全标注。”
“先用现有数据做对照。普通堆叠网络和残差结构各训练一版，层数从十层开始，逐步加到二十六层。”
“行。”
成文飞转身看向服务器区，“如果这个结构能把深度网络的问题解决，语音识别的进度会快很多。”
何恺明没有接话，他知道，成文飞真正关心的不是一篇论文，也不是谁先提出一个结构，倒是自己，这个想法完全可以整理出一篇论文来。
如果这条路能让深层模型继续训练，神经网络的上限就会被重新打开。
倒是马乐离开人工智能实验室后，直奔杜文的系统工程部门办公区，在他看来陈总最关注的项目有三个，一个是半导体，一个是汽车，还有一个就是人工智能。