第四百一十四章 算力调度

作者:路大头 加入书签推荐本书

听到这,韩路一问道:「所以你们现在的方向是什麽?」

「我们在考虑,如果能不能把任务切再小一些,这样不用考虑盛不盛下的问题,用哪个卡都盛下。」

韩路一坐在原地看了他一眼。

「这个思路的话,能做的任务复杂程度会受到限制吧?」

这就相当於自废武功,太复杂的任务直接放弃,让l100也只能跑跟龙腾2000能跑的一样的任务。

江松然说道:「确实是有这样的缺陷,所以我们也还在探索。」

江松然和韩路一都是做系统工程出身,他们都知道,很多时候,一个东西在实验室里面实现了,并不意味着在现实中也能够做出来。

从实验室到大规模应用,中间隔着的就是工程能力。

韩路一又想了想,说道:「现在的技术挑战都在任务编排上面,这个编排规则必须是提前写好的吗?」

:

江松然听了这话一惊。

韩路一接着说道:「之前我们做电力任务的时候,就是让汤圆来做调度中枢的,这个任务分配的调度能不能也让汤圆来做呢?」

江松然仔细思考了一下韩路一的话。

动态调度确实是他们探索的另一个方向,但直接让汤圆来参与,可能并不成熟,因为a现在的一个问题就是速度慢,并发量上不去,但是随着汤圆模型的调用量越来越大,这个调度判断可能是每秒几万甚至几十万次。

「韩总,调度逻辑比较复杂,直接交给模型来做的话,可能并发上不去。」江松然回答道。

韩路一一边看着屏幕上的实时数据一边说道:「我对算力的基础设施不是专家,如果我说错了,你可以纠正我,现在的问题是任务的复杂程度不好提前判断,对吧?那如果不把调度权交给汤圆,只是让它做任务复杂度的判断呢?」

对啊!

江松然之前钻了牛角尖,觉写死规则的调度层性能好,但是不够智能;完全把调度层交给汤圆来做,性能又不好。

但是如果不是直接让汤圆做调度逻辑呢?

如果把判断任务难度作为调用链的起点呢?

江松然思路打开,新的想法突然都涌现出来。

上一页 返回目录 下一页