脏数据用 AI 先列清洗规则:缺失、重复、异常
拿到订单导出表,先别急着删和补。让 AI 把缺失、重复、异常三类问题列成带判定标准和处理动作的清洗规则清单,人工批完再动手,避免越洗越脏。
适合人群
刚接手订单/工单明细数据、马上要做汇总分析但分不清哪些行该删该补的数据分析新人
先解决什么
订单导出表里既有缺失、重复,又有负数和超大金额,新人分不清哪些算脏数据、哪些该保留,删错补错一次就影响汇总结论。
学完结果
一份经人工确认的清洗规则清单,逐条写清问题类型、判定标准、处理动作、是否需要人工确认,可直接用于后续清洗。
你会学到什么
先列清洗规则再动手,别让 AI 直接改原始数据
每条规则都要有判定标准、处理动作和示例,只写「缺失就补」等于没写
负金额不一定是脏数据,业务规律要先喂给 AI
拿不准的行标「待人工确认」,永远比删掉重来安全
开场困境
第一个月的订单表,我连删哪行都不敢
你入职第一周就接到任务:把 7 月订单导出表整理干净,做一张区域汇总。打开表你发现问题一堆:华东有一行订单号重复出现两次,华北有一行金额是 0,还有一行显示 -150、状态是「已退款」。你第一反应是把负数删掉,但同事说退款单就是负数,删了月底对不上账。
你把表丢给 AI 说「帮我清洗数据」,它顺手删掉 -150,还把 999999 的大额订单当成异常划掉。汇总出来,老板问华东为什么少一单,你才发现 AI 把重复的两行都删了。问题不是数据脏,是没先定规则。
错误做法
让 AI「直接清洗」,等于把判断权交给猜测
错误做法:不写规则就让 AI 动手。AI 不知道「已退款」的负金额是正常业务,不知道重复行要保留哪一条,更不知道大额订单可能是真实成交。它只会按通用逻辑删、补、合并,结果比你手抖还难收拾。正确顺序是先列清洗规则,人批完,机器才动手。
反例:「帮我清洗一下订单表」——AI 会把所有负数当成异常,删掉正常退款单。
反例:「缺失区域补上」——没写怎么补,AI 会按城市猜,猜错导致汇总错位。
反例:「重复订单删掉一行」——没写保留哪条,可能把带备注的那行删掉。
反例:拿到 AI 清洗结果直接做图表——没留清洗依据,老板追问口径时你答不上来。
实操流程
5 步把脏数据变成一张能执行的清洗规则清单
先别整表上,抽 10 行真实数据原样贴给 AI,并标出你怀疑的每一处。输入样例:A1001|2026-07-01|华东|2080|已完成(这行重复两次);C1004|2026-07-04|华北|0|已完成。
- 开一张「问题仓库」表,每行原样贴一条数据,类型只写缺失、重复、异常三类,拿不准就写异常。
- 在提示词里补 3 句背景:表是什么、谁在用、拿不准怎么处理(例如标待确认)。
- 让 AI 只输出规则清单,禁止动手改数据;每条规则必须有四列:问题类型|判定标准|处理动作|是否需人工确认。
- 把你已知的业务规律也喂进去,例如「状态=已退款时金额为负是正常」,要求 AI 转成一条规则。
- 逐条过规则,把「不删、不猜、不合并」写进清单,定稿后这张清单就是后续清洗的唯一依据。
案例
五行原始数据,AI 列出的规则你认不认
输入五行:A1001 华东 2080 已完成(出现两次);A1002 区域空白 已关闭;B1003 华南 -150 已退款;C1004 华北 0 已完成;D1005 华东 999999 已完成。
AI 输出的规则清单:区域空白→判定标准「区域列空」→处理动作「标待确认,不猜」→需人工确认;A1001 重复→判定「订单号+日期+金额完全一致」→处理动作「保留第一次出现,另一行标重复原因」→需人工确认;-150→判定「状态=已退款且金额为负」→处理动作「不算脏数据,保留」→不需确认;0 元→判定「状态=已完成但金额=0」→处理动作「列异常,核对是否赠品单」→需人工确认;999999→判定「金额>100000」→处理动作「保留,列给财务核对」→需人工确认。
你补上「0 元已完成单要查赠品单」这条业务规律,规则清单一共 5 条,每一条你都能解释给领导听。
可复制提示词
直接复制这条,让 AI 只列规则不动数据
把下面这段连同你整理好的「问题仓库」表一起发给 AI,它会输出一张规则清单,而不是替你做决定。
你是我的数据清洗规则助手。下面是我从订单表抽出的几行原始数据,每行后面标了我怀疑的问题类型。你不要修改原始数据,只输出一张清洗规则清单。
数据背景:
- 这是 7 月订单导出表,我会拿它做区域汇总。
- 状态字段有:已完成、已关闭、已退款。
- 拿不准的行不要删,统一标「待人工确认」。
请按这个格式逐条输出规则:
问题类型|判定标准|处理动作|是否需人工确认|示例
要求:
1. 判定标准必须能照着执行,例如「订单号+日期+金额完全一致」,禁止写「差不多」「比较像」。
2. 处理动作只能写:保留、标待确认、删除、修正,且必须给出依据。
3. 我标注的业务规律请转成规则:状态=已退款时金额为负是正常,不算脏数据。
4. 最后单列一栏「需要我确认的规则」,把拿不准的全部放进去。
我的原始数据(含问题标注):
[一行一条:原始数据|问题类型]人工检查
定稿前,过一遍这六项
每条规则的判定标准能让另一个人照着做吗?只写「缺失就补」的不合格。
所有拿不准的行都标了「待人工确认」,而不是被删掉?
负金额、0 金额、超大金额是不是分别有规则,没有笼统归成「异常全删」?
「已退款 -150」这类业务正常值有没有单独写明保留理由?
规则清单里有没有 AI 自己编出来的字段值或理由?
定稿前有没有在 10 行样本上试跑一遍,确认每条规则都能落地?
可直接套用的流程
1. 先写清楚任务目标:这次要让 AI 帮你完成什么工作,而不是泛泛地问一个问题。
2. 再给资料边界:哪些背景、数据、约束、口径必须被使用,哪些内容不能编。
3. 最后规定输出格式:用清单、表格、方案、话术还是复盘报告,并保留人工检查。
本篇所在栏目「数据分析」
本专题第 6 篇 / 共 7 篇