“只发验证性的那部分,核心参数和优化策略不公开。”
苏风说,“但结构要让人看明白,这东西跟gpt没有任何关系。”
“行,我明白了。”
“下午六点,你开新闻发布会。全网直播。”
“啊?苏总时间会不会太紧了。”
“够用。”
苏风说,“你只要讲清楚三件事:馒头是我们自己写的,框架是全新的,专利早就申请下来了。剩下的,让懂技术的人自己去看。”
梁文风深吸了一口气:“好,我马上准备。”
挂了电话,苏风把电脑上馒头的架构图调出来,看了一遍。
那些线条和模块,每一个都是他脑子里长出来的东西。
从注意力机制的变体,到稀疏化训练的工程实现,再到动态路由的替代方案,整套框架跟transformer有三分相似,但内核完全不同。
transformer是编码器-解码器架构,核心是多头自注意力。
馒头的架构更像是一个动态递归网络,每一层的神经元会根据输入自动调整连接权重和计算路径,不需要固定的注意力头。
苏风花了一年多,把前世看到的transformer、moe、稀疏训练、动态路由这些东西,再加上这一世的分析,拆碎了重新组合,才写出这么一套东西。
下午六点,深流智能的新闻发布会正式开始。
地点选在省城一家酒店的会议厅,不大,能坐百来号人。
到场的媒体有四五十家,有本地的,也有从京市、沪城飞过来的。
线上直播开了五个平台,同时在线人数很快就破了百万。
梁文风站在台上,穿着一件深色衬衫,头发梳得整齐,看起来很精神。
他身后的大屏幕上,是一张馒头的架构图。
“感谢各位今天过来。”