先说说我自己的经历。前几年做一条产线改造，MES系统里采集了上万条轴承振动数据，结果一跑模型，准确率惨不忍睹。后来查了半天，发现是传感器零点漂移和通信中断产生的空值捣乱。那一刻我悟了——数据清洗不是锦上添花，是让人活下去的基础设施。机器不会说话，数据就是它的嘴，嘴都被堵死了，谈什么优化。
为什么说工业数据清洗比算法还重要？
你可以想想看，一个公差配合算错了，还能靠测量补救，但数据若是被污染，模型再厉害也是白搭。工业环境里，数据从PLC、DCS、传感器一路走到数据库，中间要经历传输、压缩、转换——每一环都可能引入脏东西。常见的脏数据类型：超量程的毛刺、随机噪声、时间戳重复或丢失、单位不一致（有的传mm，有的传inch，这我真遇到过）、还有设备停机时不正常归零的“伪有效数据”。这些如果不清洗，后面训练出来的模型，说白了就是垃圾进垃圾出。
我曾经跟一位老钳工师傅聊天，他说“你们搞数字化的，得先学会当磨床工——把工件表面锈迹磨掉了，才能量得准。”这比喻太对了。比如振动加速度传感器，安装共振频率和实际信号混在一起，你如果不用带通滤波把高频的安装谐振滤掉，特征提取全会偏。所以清洗的第一步，不是套公式，是先搞清楚物理场景。
真实场景里的坑：几段踩坑记录
先说时间戳。有一次做设备利用率分析，发现两条产线的数据对不上。后来发现一套系统用的是PLC的本地时钟，另一套是Windows工控机的时钟，每天漂移几秒。这要是不做时间同步和重采样，相关性分析就是个笑话。我的做法是统一用NTP，然后按100ms的时间窗重新采样，用前向填充或线性插值处理缺值。采样率嘛，温度压力这种慢变量100ms够了，高频振动最好上到10k以上，但清洗时不能直接平均，得做真有效值计算。
然后是异常值。阈值法简单，但也有坑。固定阈值在变工况下会失灵——比如电机启动瞬间的电流峰值，不是故障，你硬给它剔掉，反而丢了有用的瞬态特征。我后来改用滑动窗口内的四分位距（IQR）结合中位数绝对偏差（MAD）来做动态检测。这里有个细节：MAD算法对正态性假设不强，更适合工业现场那些非平稳信号。具体公式很简单，MAD = median(|x_i – median(x)|)，然后拿超过3倍MAD的点当异常。有时候你会盯着图看，明明是好数据却被标成异常，这时候就需要人工复核的环节。别指望全自动，清洗过程中必须保留人工判断的通道。
清洗流程：不是流水线，是反复迭代
我常用的流程大概是：先做初步浏览，看数据量、时间范围、单位、缺失率，然后用可视化的方式画出几条序列的原始曲线。这一步非常关键，能让你快速发现周期性突变、平台值等异常。接着是去重、对齐、处理缺失、滤波、异常值标记——注意顺序！先对齐再滤波，否则时间错位会让滤波窗口混入前后不同工况的数据。
滤波方法选择上有讲究。简单的移动平均对毛刺有效但会滞后，工业上我更推荐Savitzky-Golay滤波器，它能在滤除噪声的同时保持峰值形状。参数窗口长度一般取采样频率的1/2到1/5，多项式阶数2~3就够。我见过有人拿卡尔曼滤波去处理所有数据，但那个对系统模型要求高，容易收敛不稳定，反而把原始特征扭曲了。工具方面，Python的pandas和SciPy够用，但要是处理GB级数据，建议用PySpark或数据库端SQL预处理，别老把数据倒腾到笔记本内存里。单位换算这块，建议在源头统一，用OPC UA建模时就把工程单位定义好，别等到分析时再换算。
数据清洗的边界：别把能用的也洗没了
这是我最想吐槽的一点。好多教材讲清洗，就是要“干净、整齐、无缺失”，可工业数据天生就是脏的。你非要把所有null都填上，可能填出一堆假的趋势。清洗的目标是可用，不是洁癖。比如记录设备故障时的报警数据，本来就有停机造成的断层，你把它平滑了，故障特征就没了。所以清洗之前，一定要跟工艺人员确认哪些数据具有业务上“必然的形态”。有一次我们处理铸造车间的温度曲线，保温阶段的微小波动其实是液面扰动，不是传感器噪声，结果清洗算法全给滤掉了，后来换了基于小波的方法才保留住关键的时段特征。
还有个容易忽略的点——数据清洗本身要留痕。谁改了什么，为什么改，都要记录。我习惯每做一次清洗，输出一张数据质量报告，包含各字段的缺失率、异常率、清洗规则和改动条数。这样既方便复盘，也方便数据治理审计。
总结一下我的几个实操心得
1. 先物理后算法，搞懂传感器安装、控制系统时序，再设计清洗方案。2. 动态阈值好过固定阈值，但一定要配人工抽查。3. 清洗流程要按项目定制，没有万能模板。4. 所有清洗步骤都要可追踪、可回滚、别一刀切。最后送你一句我常跟团队讲的话：数据是零件的影子，清洗是校准影子的光。
