PoC 驗收的 8 項檢核:用真實資料、異常件入樣、樣本量足夠、正確率口徑先對齊(欄位級 vs 整件直通率)、例外比例有量測、單件時間有量測、逐件執行紀錄可查、失敗案例有分析。demo 證明技術存在,PoC 證明技術在你的流程上行得通,兩者不能互相替代。
PoC 是整個導入流程裡最值錢的一步:它用幾週的成本,換掉上線後幾個月的風險,前提是 PoC 做得實在。這篇把驗收該檢核的 8 件事、以及數位勞動力有限公司的顧問看過的灌水手法一次公開;它是2026 台灣 AI 數位員工選購指南的驗收篇。
PoC 到底在驗證什麼?
PoC 驗證的是「這條流程交給數位員工,正確率、例外比例與處理時間是否達到上線標準」。
只看正確率是不夠的:一個正確率高但大量案件轉人工的流程,上線後省不了多少人力。PoC 的產出不是「能不能做」的感覺,是三個數字加一份失敗案例分析。
「判斷一場 PoC 實不實在,看樣本就夠了:敢把你們最髒的異常件放進去測的,結果才值得信。樣本乾乾淨淨的 PoC,是排練不是驗證。」
驗收前,哪兩件事要先談定?
驗收前要先談定兩件事:驗收標準先於建置,以及正確率口徑對齊。
驗收標準先於建置:正確率目標、例外比例上限、單件時間目標,在 PoC 開始前寫進文件;建置完才訂標準,數字會反過來遷就結果。口徑對齊:「正確率」在文件擷取類流程至少有兩種算法,欄位級正確率(一百個欄位對了幾個)與整件直通率(幾件文件全部欄位都對、不需人工碰)。同一份結果用兩種口徑可以差距很大,驗收吵架的根源多半在這裡。
驗收當下,8 項檢核逐一過
8 項檢核是:用真實資料、異常件入樣、樣本量足夠、正確率口徑先講清楚、例外比例有量測、單件處理時間有量測、執行紀錄可查、失敗案例有分析。
| 檢核項 | 合格的樣子 | 要小心的樣子 |
|---|---|---|
| 用真實資料 | 測試資料來自你的實際業務(去識別化),不是供應商準備的示範資料。 | 用示範資料跑出的高正確率,跟你的流程沒有關係。 |
| 異常件入樣 | 樣本包含過去實際發生過的異常案例,比例照實際狀況抓。 | 只測正常件是最常見的灌水手法,上線後例外一來就破功。 |
| 樣本量足夠 | 樣本量要能讓結果穩定:件數太少時,一兩件誤判就讓數字大幅波動。 | 用十幾件樣本宣稱高正確率,統計上沒有意義。 |
| 正確率口徑先講清楚 | 欄位級正確率還是整件直通率?兩者可以差很多,驗收前先對齊口徑。 | 口徑不寫清楚,同一份結果可以被詮釋成兩種數字。 |
| 例外比例有量測 | 多少比例的案件被轉人工?這個數字決定上線後人力真正省多少。 | 只報正確率不報轉人工率,是把不會做的案件藏在分母外。 |
| 單件處理時間有量測 | 自動處理的單件時間,與人工基準值對照,才能推算效益。 | 沒有時間數據,ROI 計算就沒有分子。 |
| 執行紀錄可查 | 每一件的輸入、輸出、判斷依據都留有紀錄,誤判案例可以逐件回看。 | 只給彙總報表不給逐件紀錄,你無法驗證數字怎麼來的。 |
| 失敗案例有分析 | 驗收報告要包含錯在哪類、為什麼錯、上線前怎麼補的分析。 | 只慶祝正確率不解釋錯誤的報告,等於告訴你風險不重要。 |
驗收標準最好在報價階段就寫進合約,見報價單的七個必要欄位;PoC 在整個導入流程中的位置,見導入流程五階段。
驗收之後,過與不過各怎麼走?
過了先走一段人工覆核雙軌再逐步放大;沒過先看失敗案例分析,連續兩輪失敗原因都不同,才是換流程的訊號。
過了:不要直接全自動上線。先把 PoC 的信心門檻與例外規則帶進正式環境,用一段時間的人工覆核雙軌驗證真實流量,再逐步放大自動化比例。雙軌期的意義見前 90 天時間軸第 11 到 12 週。
沒過:先看失敗案例分析再做決定。錯誤集中在同一類例外,是規則問題,補定義重測;實際資料比樣本髒,是樣本問題,重整樣本;規則引擎硬扛需要判讀的工作,是架構問題,換技術路線。連續兩輪失敗原因都不一樣,才是「這條流程還不適合自動化」的訊號;這時候正確的動作是回頭做DW-Fit 8 快篩重選流程,而不是硬做。
常見問題 FAQ
PoC 和 demo 差在哪?
demo 是供應商用準備好的資料展示功能,證明「這套技術存在」;PoC 是用你的真實資料在近似實際的條件下實測,證明「這套技術在你的流程上行得通」。demo 看十分鐘就夠,PoC 需要數週;把 demo 當 PoC 驗收,是上線後落差的最大來源。
PoC 沒過驗收標準怎麼辦?
先分析失敗案例集中在哪:規則沒收斂(同類例外反覆出錯)就回頭補規則定義;樣本失真(實際資料比樣本髒)就重整樣本再測;技術路線錯了(規則引擎硬扛判讀工作)就換架構。沒過的 PoC 常在一輪調整後可以重測,真正該放棄的訊號是「失敗原因每輪都不一樣」。
為什麼 PoC 通常要收費?
因為認真的 PoC 要投入真實資料的清理、規則建置與多輪實測,是實際的工程工作。免費 PoC 通常有兩種情況:做得很淺(接近 demo),或成本轉嫁到後續合約。數位勞動力有限公司的免費範圍是流程盤點諮詢,PoC 屬付費項目並在報價中列明範圍與驗收標準。
