第四百五十六章 五亿,小吗?

作者:路大头 加入书签推荐本书

赵文渊轻轻咳嗽了一声,把几人的注意力拉了过来,然後开口说道:

「既然大家都同意按照韩总的思路试一试,那我先详细讲解一下我们这边现在的成果,以及两边怎麽融合。」

听了赵文渊的话,梦脑科技的人都提起了重视。

汤圆和起源的大名在人工智慧这个领域如雷贯耳,但是毕竟隔行如隔山,他们的技术有多少能用在脑机接口这个领域还真不好说。

现在对方的首席科学家发话了,詹想的心里格外矛盾,既期待这位赵博士能从别的角度带来新的解决方案,又不甘心自己卡了几年没有进展的难题被别人轻而易举地解决掉。

詹想心想,最好是他们提供一点思路,但是自己来把整个工作完成。

赵文渊起身,站到了会议室的白板前面,拿起一支马克笔就在上面画了起来。

他没有使用预先准备的幻灯片,也不需要,起源旗下所有模型的训练思路都在他的脑子里,架构图信手拈来。

不一会儿,汤圆训练架构就被画在了白板上。

「梦总,詹总,你们看,汤圆1.0就是这麽被训练出来的,从原始语料建立起基座模型,到高精度标注的调整权重,造就了它的意图理解和问题解决能力。按照韩总刚才提出的思路,我们先使用梦脑现在积累的脑电数据来训练出一个基座模型,这个模型不需要能够准确地理解每一个脑电波所代表的意思,它更像是一个预训练模型,能够把你们所提供的三万个小时的原始数据中,哪些模式是反覆出现的通用信号,哪些是杂乱的噪声分辨出来。」

詹想试图跟上赵文渊的思路,听他说完之後摇了摇头:「赵总,这恐怕不行,这些数据量虽然大,但是太杂了,想从里面直接总结规律不太可行。」赵文渊看了他一眼,心想,是你懂机器学习还是我懂机器学习。

自监督预训练恰恰不需要有统一的标签,那是後训练阶段才需要做的事情,自监督本身就可以从杂乱的数据里学习通用结构。

但是他没把这质疑说出来,新方法和梦脑现行方法差距太大,他们的团队有所怀疑也是正常的。但是旧方法显然没用,不然梦脑科技不会卡在这里。

这倒是让赵文渊想起来翻译领域的历史来。

最一开始做机器翻译的时候,人们也是先从翻译家和语言学家的方法开始,想要用人做翻译的方法教会计算机做翻译,什麽语法、文法、从句结构,都写到规则里去。

效果怎麽样?

一言难尽。

直到後来人们走了另一条路,用大规模的数据统计概率,也就是机器学习来进行训练,效果得到了显着提升。

做语音识别的大牛弗雷德里克·杰利内克对此有句名言:「我每从团队中开除一个语言学家,语音识别的性能就提升一大截。」

顺带一提,transfrmer架构本身最初发明出来就是用於翻译的,效果确实惊艳,并且後来被证明这个架构不只可以用来做翻译。

赵文渊不打算当面说服詹想,语言上的交锋毫无意义,只是说道:「詹总,不如我们尽快开始第一轮训练,有了第一轮的结果,我们就可以知道这个方向是不是可行了。」

上一章 返回目录 下一页