判讀型 AI 員工的失敗跟 RPA 不一樣:RPA 壞了會報錯,AI 答錯不會,它只會很有自信地給一個錯的結果。常見死因是期待值設成全自動、沒有信心門檻、沒有人工覆核、知識來源沒人更新、用示範資料驗收、上線後沒人看紀錄。這些在簽約前都看得出來,而且全部可以預防。
本站有一篇台灣中小企業 RPA 導入失敗的七個原因,講的是規則型自動化怎麼死的。數位勞動力有限公司後來發現,判讀型的 AI 員工死法不太一樣,不能直接套。RPA 死在「做不出來」,AI 員工死在「做得出來但慢慢變差,而且沒人發現」。這篇專門寫後者,每一項附警訊跟預防方法。
AI 員工的失敗,跟 RPA 的失敗差在哪?
差在「看不看得見」。RPA 失敗是當場做不出來或系統改版後中斷,有錯誤訊息;AI 員工失敗是跑得很順但答案慢慢變差,沒有任何錯誤訊息,要靠紀錄跟抽查才抓得到。
| 比較軸 | RPA 失敗 | AI 員工失敗 |
|---|---|---|
| 失敗的樣子 | 當場做不出來、系統改版後中斷、腳本報錯 | 跑得很順,但答案慢慢變差,沒有任何錯誤訊息 |
| 怎麼發現 | 有人收到錯誤通知,或流程卡住 | 靠逐件紀錄與抽查;沒紀錄就等客戶或會計師發現 |
| 主要死因 | 老舊系統無 API、無人維運、流程未標準化 | 期待值設成全自動、沒有信心門檻、知識來源沒人更新 |
| 驗收方式 | 跑得通、數字對得上 | 欄位級正確率與整件直通率分開算,異常件要入樣 |
| 上線後要看什麼 | 有沒有跑、有沒有報錯 | 轉人工比例、覆核改掉比例、例外堆積量 |
這個差別決定了整套預防方法。RPA 的預防重點在系統整合路徑跟維運責任;AI 員工的預防重點在信心門檻、人工覆核、逐件紀錄,也就是「錯了能不能被接住」。這三個機制在企業 AI Agent 的五大組成元件裡有逐項說明,少一個就是一個失敗原因。
七個常見失敗原因,各怎麼提早看出來?
七個原因:期待值設成全自動、沒有信心門檻、沒有人工覆核、知識來源沒人維護、用示範資料驗收、上線後沒人看紀錄、第一個專案挑最亂的流程。前四個是 AI 員工特有的,後三個跟 RPA 共通但後果更隱性。
一、期待值設成「全自動」,第一次答錯就全盤否定
現場長這樣:老闆聽到 AI 就想像它什麼都會,上線第一週答錯一題,立刻說「這東西不行」,專案收掉。其實那一題本來就該轉人,是沒人設定它該轉人。
警訊:規劃時沒人問「哪些情況它要說不知道」,只問「它能不能全部處理」。
預防方法:上線前先定義「AI 直接做、AI 擬草稿人確認、AI 直接轉人」三層的範圍,而且把「轉人」當成正常結果,不當成失敗。目標是人只處理需要人的案件,不是全自動。
二、沒有信心門檻,不確定的也硬答
現場長這樣:AI 遇到沒見過的單據格式或問法,不會說「我不確定」,它會給一個看起來很合理的答案。沒設信心門檻,這些答案就直接進系統或直接回客人。
警訊:供應商示範時,每一題 AI 都答得出來,從來沒有一題是「轉人工」。
預防方法:每一個判讀都要帶信心分數,低於門檻的進人工覆核佇列。門檻值在 PoC 時用真實資料調,上線後再依覆核結果調整。
三、沒有人工覆核,錯誤安靜地累積
現場長這樣:為了省人力,直接讓 AI 的輸出進系統,沒人看。兩個月後會計師來查帳,發現一批發票的科目全錯,而且已經結帳。
警訊:規劃時聽到「上線後就不用人看了」這句話。
預防方法:低信心件一定有人看;高信心件也要抽查,比例可以隨時間降低但不能歸零。覆核的結果要回饋到規則或知識來源,不然覆核只是在重複擦屁股。
四、知識來源沒人維護,AI 用舊規則回新問題
現場長這樣:AI 客服回答的依據是退換貨規則、價格表、產品規格;這些東西三個月改了兩次,沒人去更新知識庫,AI 繼續用舊規則回客人,而且回得很有自信。
警訊:問「規則改了誰去改知識庫」,答案是「應該是供應商吧」或「到時候再說」。
預防方法:上線前指定知識來源的負責人與更新節奏,寫進作業文件;知識來源要有版本,改了什麼、什麼時候改的要查得到。
五、用示範資料驗收,真實世界不長那樣
現場長這樣:PoC 用供應商準備的十筆乾淨資料,正確率漂亮;正式上線遇到歪斜掃描、蓋章遮字、手寫備註、客人的錯字跟表情符號,正確率崩盤。
警訊:PoC 的樣本不是你家過去三個月的真實資料,或者樣本裡沒有異常件。
預防方法:堅持用自家去識別化的真實資料,必含異常件;驗收口徑事先講清楚,欄位級正確率跟整件直通率分開算,不接受單一個「準確率」數字。
六、上線後沒人看紀錄,變差了也不知道
現場長這樣:AI 員工有逐件紀錄,但沒人看。轉人工比例從上線時的一成慢慢爬到三成,沒人注意,直到同仁抱怨「這東西越來越常丟給我」。
警訊:沒有人說得出上週轉人工比例是多少。
預防方法:指定一個人每週看三個數字:轉人工比例、覆核改掉比例、例外堆積量;任何一個連續上升就查原因。這個人可以是業務窗口,不一定要懂技術。
七、第一個專案挑了最亂的流程
現場長這樣:老闆想從最痛的流程開始,但最痛的流程通常也最亂:例外多、做法沒統一、牽涉系統多。專案拖了半年,內部對自動化的信任賠光,第二個專案推不動。
警訊:候選流程連「每月幾件、例外有哪幾種」都答不出來。
預防方法:第一個專案挑量大、規則清楚、容易驗證的流程,目的是把整套方法走一次;最亂的流程等有經驗了再碰。
七個裡面最冤的是第一個。AI 轉人工本來就是設計的一部分,但老闆沒被告知,看到「轉人工」就以為是失敗。這件事在規劃階段講清楚,可以省掉一個專案。
「RPA 專案死的時候很吵,腳本報錯、流程卡住、大家都知道。AI 員工專案死的時候很安靜,它還在跑,數字還在產,只是沒人發現那些數字越來越不對。」
為什麼多數失敗在簽約前就看得出來?
因為七個原因裡有五個,答案都藏在報價單跟 PoC 的設計裡:有沒有寫三層範圍、有沒有信心門檻、覆核誰做、驗收用什麼資料、維運誰看紀錄。簽約前把這幾題問一遍,答不出來的就是警訊。
具體可以這樣問供應商:「哪些情況它會說不知道?」「低信心的件誰看?」「PoC 可不可以用我們家的真實資料,而且要放異常件?」「上線後轉人工比例誰追蹤?」四題有一題答得含糊,先不要簽。PoC 的驗收該用什麼口徑、常見的灌水手法有哪些,PoC 驗收 8 項檢核清單有完整的做法,裡面「異常件入樣」那一項直接對應本頁第五個失敗原因。
另外一塊是預算。失敗原因裡的「沒有人工覆核」跟「沒人看紀錄」,常常是因為預算只編了建置費,覆核跟維運的工時沒人算,上線後自然沒人做。中小企業導入 AI 員工要多少錢那篇把錢分成三塊講,內部隱性工時那一塊就是在講這件事。
上線後怎麼知道它有沒有在慢慢變差?
看三個數字,每週一次:轉人工的比例、人工覆核改掉的比例、例外件堆積的數量。任何一個連續上升,就要查是資料變了、規則變了、還是知識來源過期了。
這三個數字的前提是逐件紀錄:每一件 AI 做了什麼判斷、信心多少、有沒有被改、改成什麼,都要查得到。沒有紀錄就沒有數字,沒有數字就只能等客戶或會計師來告訴你出事了。看數字的人不需要懂技術,業務窗口就可以,重點是有人每週固定看。
誰來看、看了之後誰修、修的費用怎麼算,這些是維運的問題,AI 員工上線後誰來顧那篇有三種維運模式的分工。出錯之後的責任怎麼在企業、供應商、工具三方之間切,AI 員工會出錯嗎?出錯了誰負責講得比較細。導入前其他常卡住的問題,像費用、資安、同仁溝通,整理在導入前最常卡住的十五個問題。
還不確定你的流程適不適合?
先用三分鐘快篩自評,或直接請顧問做免費流程盤點。
常見問題 FAQ
AI 員工導入失敗跟 RPA 導入失敗,最大的差別是什麼?
RPA 失敗多半是「當場做不出來」或「系統改版後壞掉」,看得見;AI 員工失敗多半是「跑得好好的,但答案慢慢變差」,看不見。RPA 壞了會報錯,AI 答錯不會報錯,它只會很有自信地給一個錯的結果。所以 AI 員工的失敗要靠紀錄跟抽查才抓得到,不能等它自己喊。
導入前最該注意的一個警訊是什麼?
供應商示範時用的是自己準備的資料,而不是你家過去三個月的真實資料。示範資料永遠乾淨,真實資料永遠有歪斜掃描、蓋章遮字、手寫備註。堅持用自家去識別化的真實資料做 PoC,而且要放異常件進去,這一條就能擋掉一半的失敗。
已經上線了,怎麼知道它有沒有在慢慢變差?
看三個數字:轉人工的比例、人工覆核改掉的比例、例外件堆積的數量。三個數字每週看一次,任何一個連續上升就要查原因。沒有逐件紀錄就看不到這三個數字,所以逐件紀錄是上線的前提,不是加分項。
失敗過一次,還值得再試嗎?
值得,但先找出上次死在哪一項。多數 AI 員工專案的失敗原因不在模型,在期待值、驗收方法與維運機制;這三樣第二次都能修正。而且第一次累積的例外案例與規則不會白費,第二次的條件通常比第一次好。
