42 個指標都在亮,會議還是卡住了

先看一個虛構案例:電商公司 Northstar Commerce 的週一經營會議。

Dashboard 上有 42 個指標。Revenue 是綠色,Conversion Rate 是綠色,Traffic 也是綠色;但 Contribution Profit 幾乎沒有改善,Return Rate 還在惡化。更麻煩的是,同一個 Conversion Rate,Growth 報 4.4%,Finance 報 3.8%。

45 分鐘過去,團隊手上有很多資料,卻還是無法把資料接回管理判斷。現在到底要改善什麼結果?哪個變化可能在推動它?哪些數字值得管理層持續看,哪些只適合出問題後再往下鑽?同名 KPI 是否真的在算同一件事?

如果這些問題沒有共同答案,再加一張圖也不會有太大幫助。Northstar 真正缺的是一套把 outcome、drivers、metric roles、definition 與 ownership 接起來的 Metric Architecture

這篇要處理的,就是這一層。

KPI 要從管理問題往回選

很多指標系統的形成方式很自然:資料庫裡有欄位,就拉進 Dashboard;競品常看某個數字,就跟著追;主管曾經問過一次,就把它留下來。久了之後,指標愈來愈多,卻很難說清楚每個數字為什麼存在。

這時候若先討論「Conversion Rate 要不要放在首頁」,順序就太早了。Northstar 真正要處理的是:

營收仍然成長,但這些成長沒有乾淨地轉化成更好的獲利品質與客戶體驗。

因此,這個案例先固定一個管理 outcome,再往下找可能的 drivers。為了教學,我們用簡化的 Contribution Profit:營收扣除會隨交易發生而變動的主要成本,例如商品成本、付款成本、履約成本與退貨相關成本。

這只是 Northstar 的管理用示例,沒有通用會計準則的地位,也不代表其他公司應該採用相同公式。它的用途是把問題釘住,讓後面的 Metric Tree 不會長成「我們剛好有什麼資料」的清單。

接下來挑任何候選 metric 時,都可以問一個很實際的問題:如果這個數字明天大幅改變,管理團隊會因此改變哪個判斷、優先順序或行動?答不出來,不表示這個 metric 沒用;它可能只是比較適合留在 diagnostic layer,而不是 recurring management KPI。

Driver Tree 先畫機制假設,別把箭頭當成因果證明

Outcome 固定後,Northstar 才開始拆 drivers。第一層可以先分成:

  1. Demand / Traffic:有多少有效需求進站?
  2. Conversion / Basket Economics:需求有多少轉成訂單,每張訂單創造多少營收?
  3. Repeat / Retention Behaviour:客戶是否回來再次購買?
  4. Variable Fulfilment Economics:每張訂單需要付出多少履約與退貨成本?

再往下一層,才會看到 Sessions、Conversion Rate、Average Order Value、Repeat Purchase Rate、Return Rate、Fulfilment Cost per Order、On-time Delivery Rate 這些具體 metric。

這裡最容易犯的錯,是把圖上的箭頭讀成「已證實的因果」。例如 On-time Delivery Rate 和 Repeat Purchase Rate 同時下降,可以把「配送體驗可能影響回購」列為值得查的 mechanism,但這張樹本身不能證明配送延遲造成回購下降。價格、產品 mix、促銷、季節性、客群組成,甚至量測方式,都可能同時變動。

所以 Driver Tree 比較像一張 investigation map。結果異常時,團隊先知道有哪些 branch 值得查,再用後續證據去排除、弱化或支持某些 hypothesis。它把討論範圍整理清楚,但不替因果分析代簽結論。

樹上的節點很多,管理層不需要全部盯著

Driver Tree 一旦展開,很快就會出現另一個問題:每個節點看起來都重要。這時候要分開兩件事,值得量測,以及 值得進入 recurring management attention

在 Northstar 的示例裡,可以先這樣分角色:

  • Outcome metric:Contribution Profit
  • Driver metrics:Conversion Rate、Repeat Purchase Rate、Average Order Value、Fulfilment Cost per Order
  • Guardrail metrics:Return Rate、On-time Delivery Rate
  • Diagnostic metrics:更細的 channel、device、warehouse、campaign、cohort 或 product-level 指標

這裡剛好得到七個 executive-facing metrics,只是為了讓案例可以完整運作。不要把七讀成「公司最好有七個 KPI」的建議。 不同公司、管理層級與決策問題,本來就會需要不同數量。

KPI Architecture 圖:Northstar Commerce 教學案例從 Management Question 與 Contribution Profit,經 driver hypotheses 與 driver metrics 兩個集合層,再到 guardrails 與 diagnostics;不主張一對一因果關係。

真正該保留在管理層視野裡的 metric,至少要能說清楚它的角色,以及它改變時可能影響哪個判斷。其他細部數字仍然可以保留在 diagnostic layer,需要時再往下鑽。

Guardrail 的價值會在優化開始後變得很明顯。假設 Northstar 用更激進的促銷或商品承諾拉高 Conversion Rate,表面上轉換改善了,但 Return Rate 也跟著惡化。此時 headline metric 變好,不代表整體 economics 或客戶體驗一起變好。

而且 measurement system 本身會影響人的行為。相關研究回顧顯示,績效衡量系統可能影響行為、組織能力與績效,但效果受到設計與情境影響。設計 KPI 時,因此還要保留一個問題:當大家開始用力把某個數字做漂亮,哪個地方最可能被犧牲?

Growth 的 4.4% 和 Finance 的 3.8%,其實可能都算對

現在回到 Northstar 的 Conversion Rate。

Growth 報 4.4%,Finance 報 3.8%。差異不一定來自誰算錯了,而可能來自定義:一邊用有商品瀏覽的 sessions 當分母,另一邊用所有 sessions;一邊排除 bot traffic,另一邊沒有;一邊按下單時間歸屬日期,另一邊按付款完成時間。

如果這些選擇沒有被固定,團隊表面上在討論同一個 KPI,實際上是在比較不同 metric。這也是 Metric Contract 要解決的問題。這裡的 Contract 指操作定義,作用是讓其他人能理解、重現、質疑與維護這個數字,沒有法律文件的意思。

Metric Contract 圖:Growth 的 Conversion Rate 為 4.4%、Finance 為 3.8%,兩者可能都自洽;差異可能來自 denominator、bot treatment 或 event timing,右側只列 operating-definition 欄位名稱並留白。

以 Conversion Rate 為例,至少要把幾類選擇攤開:

  • Numerator:建立訂單、完成付款,還是未取消訂單,哪一個才算 conversion?
  • Denominator:所有 sessions、有效 sessions,或進入特定 funnel 的 sessions?
  • Population / scope:哪些市場、裝置、流量來源或客群包含與排除?
  • Grain:以 session、user、order 還是 account 為單位?
  • Time basis:依哪個事件歸屬日期,使用哪個時區?
  • Canonical source:哪套資料是正式來源?
  • Refresh cadence:多久更新,資料延遲多久後才視為穩定?
  • Ownership:誰負責 definition,誰負責 data quality?
  • Quality checks:bot traffic、重複事件、漏單、late-arriving data 怎麼檢查?
  • Version handling:公式或資料來源改變時,何時生效,舊資料是否重算?
  • Comparability treatment:定義改變後,跨期比較要怎麼處理?

這份欄位清單是實務上的 operating synthesis,不能解讀成監管機構要求所有內部 KPI 照抄的格式。不過,它背後的治理邏輯有很好的外部參照。美國 SEC 對公開公司 MD&A 中 KPI 與 metrics 的指引,討論了 management 如何使用指標、指標如何計算,以及重大計算或呈現方式變更時應如何交代差異、原因與影響。英國 FRC 的 Strategic Report guidance 也強調 KPI 與董事會管理方式的連結,以及定義、計算方法、資料來源、假設、跨期一致性與重大變更說明。

這些規範服務的是公開揭露,不能直接移植成一般公司內部 KPI 的法律義務。對內部管理真正值得借用的是做法:重要數字的定義、來源與變更不能只靠口耳相傳。

Metric Contract 也需要版本。事件定義、資料來源、業務流程或計算邏輯一改,metric 本身就可能跟著變。沒有 versioning 與 change log,今年和去年看似同名的 Conversion Rate,可能其實採用了兩套計算方式。

再看一次那 42 個指標,問題會變得比較好拆

現在 Northstar 的 Dashboard 仍然有 42 個指標,而且 Revenue、Conversion Rate 都上升,Average Order Value 大致持平。只看 headline,growth story 很漂亮。

把前面的 architecture 套回去,另一批訊號同時浮出來:Return Rate 上升、Fulfilment Cost per Order 上升、高價值 cohort 的 Repeat Purchase Rate 下降;Growth 和 Finance 還在使用不同 Conversion Rate 定義,而且 Return Rate 的 data quality 沒有明確 owner。

這時候可以先回到 outcome。Revenue 上升,仍不足以證明 Contribution Profit 已經改善。如果 outcome 沒改善,就需要往 Driver Tree 查,而不是先替綠色的 Revenue 找解釋。

Conversion Rate 也不能直接當成「原因」。它可能真的改善,也可能受 traffic mix 或 definition change 影響;同時,Return Rate 和 fulfilment cost 這兩個 guardrail 已經改變了 headline growth 的解讀。

最後還有 measurement trust。當 definition、source、owner 或 version 不清楚時,爭論 3.8% 和 4.4% 哪個數字比較漂亮沒有實質意義。先把 contract 對齊,才有同一個問題可以討論。

42 個指標本身無須被當成罪魁禍首,有些 diagnostic metrics 完全合理。管理系統真正容易失效的地方,是 metric 被升進管理層視野時,卻說不清楚它服務的 outcome、扮演的 role、使用的 definition、需要的 guardrail,以及誰負責維護。

拿一個 KPI 往回追,就知道架構有沒有完成

不用再做一份新的 checklist。直接拿出一個管理層每週都會看的 KPI,往回追。

先問它服務哪個 management question,以及它在這裡是 outcome、driver、guardrail 還是 diagnostic metric。如果它是 driver,團隊應該能說明目前假設它如何連到 outcome,也知道什麼證據會讓這個 hypothesis 變弱或變強。

接著看這個數字本身能不能被重現:numerator、denominator、scope、time basis、source 是否清楚;definition owner 與 data-quality owner 是誰;定義變更後,歷史 comparability 要怎麼處理。最後,再看如果大家全力優化它,哪個 guardrail 最可能先受損。

這條 trace 如果中間常常斷掉,Metric Architecture 就還沒完成。

完成這一層後,下一篇才會處理 Target、Threshold、Benchmark 與 Control Limit 到底差在哪裡。再下一層是 Dashboard、WBR、MBR、QBR 與 operating cadence,也就是數字多久被看一次、在哪裡看、異常後誰行動。OKR、strategy deployment、controls 與 incentives 則留到後面的治理層。

先把數字本身與它在 business mechanism 裡的位置講清楚,後面的目標、節奏與獎勵才有可靠的對象。

References