他抬起头,满眼都是掩饰不住的震惊。
在完全断网的状态下,这台设备仅仅依靠本地算力,就完美抓取了“搬家”、“爱喝茶”、“排斥电子产品”以及“五百元预算”四个核心限制条件,并给出了条理清晰的答案。
而且速度极快。
这就是端侧人工智能的恐怖之处。
不依赖云端,没有网络延迟,所有数据在本地处理,隐私安全性拉满。
余大嘴站起身,在办公室里来回走了两圈。
“顾总,东西是好东西。”
余大嘴停下脚步,五官都快皱到了一起。
“但目前的硬件基础根本撑不起你的野心。”
他指着桌上那台加了厚厚散热模块的工程机。
“你刚才展示的设备,cpu和gpu肯定满载了吧?”
顾屿点了点头,这没法否认。
“这恰恰是最大的死穴。”余大嘴双手撑在茶几上。
“目前的手机cpu和gpu架构,设计初衷是处理通用计算和图形渲染。用来跑你们这种大模型的矩阵运算,效率低得令人发指。”
“强行跑,算力确实能凑合,但功耗绝对压不住。手机几分钟就会发烫降频,电池用不了一个小时就会被抽干。”
余大嘴长叹了一口气。
“顾总,就算你们做到了参数蒸馏和量化压缩,解决了系统运存不够的难题。但它也是个吃电的怪物。”
“硬件跟不上,一切都是空谈。我们不能造一个暖手宝卖给消费者。”
面对余大嘴的纠结与无奈,顾屿脸上没有任何焦虑。
他端起早已经凉透的茶水,轻轻抿了一口。
“余总,我既然敢带着项目上门,自然准备好了全套的解决方案。”