工厂算力资源调度:一个机械工程师踩出来的时间表

摘要:CAE 求解、机器视觉、运动控制、数字孪生——这些东西如今挤在同一个车间里抢同一批 CPU 和同一条内存总线。本文从机械设计与产线集成的视角,讲清楚工厂算力资源调度的难点在哪、任务该怎么分类、调度策略怎么选,以及那些标书里写得漂亮、落到车间就出事的做法。

一、车间里的算力,压根不是数据中心那一套

数据中心讲吞吐。工厂讲抖动。

差别就这么大。

2019 年我接手一个压铸车间的数字化改造,需求书写得很漂亮:「统一算力池,弹性调度」。我盯着机柜布局图看了半天,心里咯噔一下——伺服驱动器的 EtherCAT 主站,和跑视觉推理的盒子,被规划在同一台工控机的同一个物理核上。

EtherCAT 的循环周期我们取 1 ms,分布式时钟同步要求抖动压在 1 μs 量级。而一次卷积推理,哪怕模型已经裁到 3 M FLOPs,单帧也要吃掉几毫秒的核时间,还伴随大块内存拷贝和 LLC 污染。结果?压铸机合模时偶尔报跟随误差超限,一周三次,查了两个月才揪出来。

不是模型的问题。是调度的问题。

工业现场对算力的诉求,本质上是混合关键性(Mixed-Criticality):运动控制是硬实时,视觉检测是软实时——30 ms 内出结果就行,偶尔丢一帧不影响节拍——而排产优化、疲劳寿命仿真那一类,属于彻头彻尾的尽力而为型批处理。三类任务塞进一个资源池,调度器如果只会按「公平」切片,硬实时一定被拖死。

压铸车间边缘计算机柜与伺服驱动器共柜部署实景图
压铸车间边缘计算机柜与伺服驱动器共柜部署实景图

二、分类之前,先把手上的活拆开看

别急着挑算法。先做任务刻画。

我一般看五个维度:截止期、执行时间方差、访存特征、加速器依赖、数据亲和性。

硬实时那一档,周期 250 μs 到 1 ms,执行时间必须确定,最坏执行时间(WCET)得靠抽象解释工具静态分析出来,比如 aiT 这类。它不允许抢占漂移,一秒漂移几次就够了。

软实时那一档,帧间基本独立,可丢帧,但延迟分布有长尾约束——平均 12 ms、P99 冲到 80 ms 的检测系统,产线照样会因为节拍波动停线。

批处理那一档最舒服,几十分钟到几十小时,可抢占、可迁移、可断点续算。

真正容易被忽略的是访存特征。我们用 OpenFOAM 跑变速箱壳体油路分析,网格 1200 万,双路 EPYC 96 核。理论 FP64 峰值往 3 TFLOPS 量级上靠,实测求解器只跑到 8% 上下。为什么?算术强度太低,每次迭代要把整个稀疏矩阵扫一遍,内存带宽早早成了瓶颈。这种活你给它再多核也没用,Amdahl 定律在那儿等着呢。

Roofline 模型能算出拐点位置。我的经验值:CFD/FEA 这类迭代求解,单节点并行效率在 32 到 64 核之间开始明显掉头,跨节点 MPI 通信再砍一刀。所以调度器分配资源时不能按「均分核数」来。10 个节点并行跑一个算例,未必比 4 个节点快两倍半,反而把集群碎片率推上去,后面的任务排不进来。

说到底,目标函数应该是加权完成时间或者有效资源利用率,不是平均。

三、调度器真正在调度什么

时间?缓存?还是散热?

我见过太多方案只写一句「基于优先级的抢占式调度」,上线就崩。因为调度的物理对象其实是四样东西:时间片、最后一级缓存、内存带宽、功耗与温度预算。

LLC 那一条最隐蔽。Intel 的 CAT 能把最后一级缓存按 way 切成若干分区,把实时任务的 working set 锁在一块里,不许批处理任务来冲刷。这招在现场比任何调度算法都管用,因为它从物理层面切断了干扰路径。

NUMA 也不能含糊。跨节点访存延迟差 1.6 倍以上是常态(本地约 90 ns,远端 150 ns 往上)。把一个内存密集型的求解进程随手丢到远端 NUMA 节点,性能直接掉三成。现代调度器基本都要带 NUMA-aware 的亲和性绑定,这不是优化项,是及格线。

然后是温度。说实话,这块是机械工程师最该发言的地方。

车间环境温度按 GB/T 4798.3 那一类分级算,夏天 40 ℃ 很常见,粉尘浓度还高。风冷服务器进风一过 35 ℃,CPU 就开始降频。你调度器算得再优雅,硬件自己先把主频砍掉 20%,所有截止期都成空谈。后来我们在机柜侧面加了一套独立的新风加过滤加表冷,把进风压到 25 ℃ 以内,同样的算力预算,任务排队长度立刻短了一截。

工厂机柜新风冷却系统与服务器进风温度监测图
工厂机柜新风冷却系统与服务器进风温度监测图

散热不是配套工程,它本身就是调度模型的一个约束条件。

四、几个真踩过的坑

第一个,把容器当成实时隔离手段。

K8s 加 KubeEdge 在工业圈很火,但默认的 CFS 配额只保证 CPU 时间比例,不保证时延。你的实时任务可能在 10 ms 周期里只拿到 2 ms,而且是在周期末尾才拿到——这对插补运算就是灾难。正确做法是 CPU 隔离(isolcpus / cpuset)配 SCHED_FIFO 或 SCHED_DEADLINE,外加中断亲和性绑定。容器只用来做部署和编排,别指望它给实时性兜底。

第二个,迷信 GPGPU。

我们给视觉检测配了两块推理卡,规划得很美。结果产线上 6 个相机分辨率不同、帧率不同,数据从相机到卡要过一次 PCIe 加一次主机内存拷贝。拷贝时间比推理时间还长。后来改成相机端做 ROI 裁剪和 JPEG 解码,数据量降了一个数量级,端到端延迟从 45 ms 掉到 12 ms。

算力调度的一半功夫,其实在数据搬运上。

第三个,静态调度表一上来就写死。

离线生成的静态调度表(Time-Triggered)在航空领域很成熟,确定性最好,这没得说。但车间不一样。产品换型、相机数量变化、临时插进来一个疲劳分析任务,全都要重排。我们现在用混合方案:硬实时子集走离线生成的调度表,其余走抢占式动态调度,中间用 TSN 的时间感知整形器(IEEE 802.1Qbv)把流量隔开。两套机制各管一段,谁也不越界。

工业相机产线视觉检测GPU推理节点数据流拓扑图
工业相机产线视觉检测GPU推理节点数据流拓扑图

写在最后

工厂算力资源调度这件事,算法论文里讨论得很透,但真正决定成败的往往是几件很「机械」的事:机柜进风温度、NUMA 亲和性、缓存分区、中断绑定、数据搬运路径。把这些物理约束摸清楚了,再回头去看调度策略,会发现可选的方案一下子收窄了——收窄不是坏事,是因为你终于知道哪些方案在这个车间里根本不可能跑起来。

调度的本质,从来不是把资源分得更均匀,而是把干扰关进笼子里。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:工厂算力资源调度:一个机械工程师踩出来的时间表
文章链接:https://www.yqhljx.com/list_9/6055.html