不必全部整理完,但有三種亂一定要先清:主檔重複、關鍵欄位空白、兩套系統的代號對不起來。這三種沒清,自動化會把錯的事做得更快。其他像日期格式不一、單位寫法不同、資料塞在備註欄,規則寫得出來就能邊跑邊清,而且自動化本身是最好的清資料工具。
「我們資料很亂,可能要先整理一兩年才能談自動化」是數位勞動力有限公司做流程盤點時常聽到的一句話,通常是同仁說的,老闆在旁邊第一次聽到。這句話一半對一半錯:對的是有幾種亂真的會讓自動化整個做錯,錯的是以為要全部整理完才能開始。本頁把常見的亂分五種,講哪幾種要先清、哪幾種可以邊跑邊清,再講清資料這件事該由誰做、做到什麼程度。
為什麼資料亂會讓自動化做錯,而不是只是做慢?
因為自動化不會猶豫。人看到「大同公司」與「大同股份有限公司」兩筆客戶,會停一下想是不是同一家;機器人照規則比對,兩筆就是兩家,對帳一邊多收一邊未收。人看到品項代號空白會翻備註猜一下;流程跑到空白就停,或填入預設值繼續跑。
所以資料亂的代價,在人工作業時是「慢」,在自動化之後是「錯」,而且是整批一致地錯。這也是為什麼上線後例外件一直很多的四種原因裡,來源資料不乾淨排第一。例外件堆起來,同仁回頭手工處理,最後大家默默回到原本的做法。
反過來說,這也是好消息:資料亂不是自動化的對立面,而是自動化最先會幫你暴露、也最能幫你收拾的問題。前提是先分清楚哪些亂會讓結果錯、哪些只是讓規則多幾條。
哪三種亂一定要先清,哪些可以邊跑邊清?
一定要先清的是主檔重複、關鍵欄位空白、兩套系統代號對不起來,這三種會讓結果錯;同一欄多種寫法、資料塞在備註欄,規則寫得出來就能邊跑邊清。五種亂各自長什麼樣、該怎麼處理見下表。
| 哪種亂 | 長什麼樣 | 要不要先清 | 怎麼處理 |
|---|---|---|---|
| 主檔重複 | 同一家客戶、同一個品項在系統裡有兩筆以上,名稱差一個字、簡稱全名各一筆 | 一定要先清:自動化會把兩筆當成兩家,對帳與報表全錯 | 公司定「哪一筆是正本」,建對照表把其餘筆對回正本;之後新建檔要先查重 |
| 同一欄多種寫法 | 日期有三種格式、單位有「個/pcs/PCS」、地址有全形半形混用 | 可以邊跑邊清:規則寫得出來的,交給自動化統一 | 列出所有寫法與對應的標準值,變成一張轉換表;轉不了的進例外 |
| 關鍵欄位空白 | 客戶代號、品項代號、金額、日期有一定比例是空的,靠承辦人看備註猜 | 一定要先處理:至少補齊流程會用到的那幾欄,或定義空白時怎麼辦 | 空白能從別的欄位推出來的,寫推導規則;推不出來的轉人工補 |
| 備註欄塞資料 | 折扣、交期、特殊處理全寫在備註裡,每個人寫法不同 | 可以邊跑邊清:先用 AI 判讀擷取,低信心的轉人工 | 把最常出現的幾種備註內容拉成正式欄位,新單從此填欄位不填備註 |
| 兩套系統對不起來 | ERP 的客戶代號跟電商平台、記帳軟體的代號不一樣,靠人腦對照 | 一定要先建對照表:這張表就是自動化的核心資產 | 公司建一次對照表,自動化流程只查表不猜;新客戶建檔時同步補表 |
表裡第五列最值得花時間。兩套系統代號對不起來的對照表,是整個自動化專案裡最有價值的一份資產:它把「某個資深同仁腦子裡的對應關係」變成公司的東西,而且換廠商、換系統都帶得走。對帳自動化的比對鍵設計講的就是這張表怎麼建、怎麼維護。
第二列與第四列則是自動化最擅長的。日期格式、單位寫法這種轉換,人做一百筆會錯幾筆,機器一萬筆不會錯;備註欄裡的折扣與交期,判讀型的AI 數位員工可以先擷取成欄位,低信心的轉人工確認。這兩種亂不用先清,清的工作本身就是自動化的一部分。
「資料亂不是自動化的門檻,是自動化第一個月的工作內容。真正的門檻是沒有人說得出哪一筆才是對的。」
清資料該由誰做、做到什麼程度?
規則由公司定,動手由機器做,做到「流程會用到的欄位沒有要靠猜」就夠。不要追求整個資料庫乾淨,追求的是第一條流程用到的那幾張表、那幾個欄位、那段期間是乾淨的。
「哪一筆是正本」「這個空白該填什麼」「這兩個代號是不是同一個東西」這些判斷只有公司答得出來,而且通常只有一兩位資深同仁答得出來。流程盤點時怎麼把做法寫下來那篇講的方法同樣適用:找那位同仁坐下來,把判斷寫成規則,寫不出規則的列成例外。這段工作需要的是那位同仁的時間,不是技術。
規則定了之後,逐筆比對、合併、改寫是機器的事。這裡要注意一件事:合併主檔是會動到正式資料的動作,要先在測試環境跑、產出「建議合併清單」給人看過,再寫回系統。試算表 AI 助理清資料那篇提過它的「熱心」:地址寫法不同的同一家公司它會幫你合,名稱只差一個字的兩家公司它也可能合。合併這件事,建議清單可以讓機器出,按下去的要是人。
做到什麼程度算夠,用例外紀錄回答。第一條流程上線後,看例外件裡「來源資料不乾淨」那一類占多少;這類例外一輪一輪變少,就是資料在變乾淨,不需要另外訂一個「資料品質達到幾成」的目標,那個數字沒有人知道該怎麼算。
怎麼用自動化反過來把資料變乾淨?
三個做法:新資料進來時先查重再建檔、備註欄的內容逐步拉成正式欄位、每月把例外紀錄裡的資料問題回頭修主檔。做到這三件,資料會越跑越乾淨,而不是上線那天最乾淨、之後一路變髒。
- 建檔先查重:新客戶、新品項建檔時,自動化先用名稱、統編、電話比對既有主檔,疑似重複的擋下來給人確認。重複主檔的來源多半是建檔時沒人查,從源頭擋比事後合併省力得多。
- 備註拉成欄位:把例外紀錄裡最常出現的備註內容(折扣、指定交期、特殊包裝)變成正式欄位,新單從此填欄位不填備註;舊單的備註用 AI 判讀補進欄位,低信心的留給人。文件自動化的驗證步驟裡的規則複核,在這裡一樣適用。
- 例外回修主檔:每月改規則的時候,順手把例外紀錄裡「因為主檔錯而進例外」的那幾筆修回主檔。例外件因此變少,主檔也跟著變乾淨,兩件事是同一件。
這三件事都不需要另外買資料清理工具,它們就是自動化流程裡的三個步驟。中小企業的主檔通常只有幾千筆、來源只有兩三套系統,先把規則與對照表做出來,比先選工具實在。
什麼情況是「資料亂」,什麼情況其實是「流程沒定義」?
同一個欄位沒有人說得出標準寫法、關鍵欄位大部分是空的要靠猜,這兩種不是資料髒,是流程沒定義;這時候先不要導入,先回去定義流程與欄位。資料髒可以邊跑邊清,流程沒定義會讓自動化把「猜」做得更快。
區分的方法很簡單:找三位會碰這個流程的同仁,各自寫下這個欄位該填什麼、空白時怎麼辦。三個人答案一樣,是資料髒,規則就是那個答案;三個人答案不一樣,是流程沒定義,先統一再談。AI 數位員工做不到的事裡第一條就是規則說不清的流程自動化不了,資料欄位的定義也是規則的一部分。
這一題在中小企業導入前常被低估,因為在人工作業時它不會造成明顯問題,資深同仁都知道怎麼猜。它跟要多少錢、系統沒有 API 怎麼接、例外件太多怎麼降一樣,是中小企業導入 AI 數位員工最常卡住的問題之一,那一頁把這些題排在一起,每題先給短答。
還不確定你的流程適不適合?
先用三分鐘快篩自評,或直接請顧問做免費流程盤點。
常見問題 FAQ
資料整理是我們自己做,還是廠商做?
分工看兩件事:判斷規則由公司定,動手合併與清洗可以交給廠商或自動化。「這兩筆是不是同一家客戶」「這個欄位空白時該填什麼」只有公司答得出來;答案定了之後,逐筆比對與改寫是機器的事。合約與報價裡要寫清楚資料整理算誰的工時、算幾輪,這一項常常是報價單上沒出現、上線後才追加的費用。
要不要先買一套主檔管理或資料清理工具?
多數中小企業不需要。主檔只有幾千筆、來源只有兩三套系統的公司,用試算表加上一份對照表就能處理;真正要工具的是每天有大量新資料進來、而且來源會一直變的情況。先把規則寫出來、用第一條流程的例外紀錄驗證規則對不對,再決定要不要買工具,順序反過來通常是買了工具還是亂。
歷史資料要不要回頭清?
看流程會不會用到。對帳、報表、客戶查詢這類要跟歷史比對的流程,至少把流程會查到的那段期間清乾淨;建單、分類、回覆這類只處理新進件的流程,歷史資料可以不動,從上線那天起的新資料開始就是乾淨的。把全部歷史資料清完再上線,是最常把專案拖到不了了之的做法。
資料亂到什麼程度,就真的不該導入?
兩種情況先不要導:同一個欄位沒有任何人說得出標準寫法是什麼,以及關鍵欄位(客戶、品項、金額、日期)在大部分的紀錄裡是空的或要靠人猜。這兩種不是資料髒,是流程本身還沒定義清楚,自動化只會把「猜」做得更快。先回去把流程與欄位定義寫清楚,再談自動化。
