文章類型
專業方法文
這篇想先講的一句話
很多研究不是壞在訪綱,也不是壞在主持,而是更早就壞了。
你找錯人,後面全部都會跟著歪掉。
- 你問了根本沒有相關經驗的人
- 你找了太熟悉你產品的人,卻以為自己在研究新手
- 你找了很會講的人,卻不是會做那件事的人
- 你找了方便約到的人,卻不是能回答問題的人
所以研究招募這件事,不能只理解成 logistics。
它其實是在做一件更前面的事:
定義這次研究到底需要什麼證據,然後用 recruiting 和 screening 把不該進來的人先擋掉。
先拆掉一個最常見的迷思:不是五個人就夠,而是五個誰
「找五個人測一下」這句話之所以危險,不是因為數字永遠錯,而是因為它把真正重要的問題蓋掉了:
這五個人是誰?他們最近有沒有真的做過這件事?他們和你想回答的問題,到底對不對得上?
如果你在測一個新手 onboarding,卻找了資深用戶; 如果你想理解 churn,卻只找了還很活躍的人; 如果你在做 B2B admin workflow,卻招到實際執行者以外的人; 如果你在研究高風險決策,但受訪者根本沒有權限做決定;
那 session 再順,資料都會長得很漂亮,但不太能用。
所以我會先把 recruiting 想成一件判準設計工作,不是排程工作。
第一步不是發邀請,而是定 recruitment criteria
我自己會先把 criteria 分成三層。
1. Core fit:這個人是不是你這次真正要研究的對象
這是最基本的一層。
例如你現在研究的是:
- 最近三個月內真的有訂房的人
- 最近一個月內放棄付款的人
- 目前還在用 Excel workaround 的 ops 人員
- 正在評估替代工具、但還沒切換的人
- 第一次使用你產品、且一週內沒有完成 activation 的新手
這一層最重要的原則,是盡量用 實際行為與近期經驗 來定,而不是用自我認同或泛泛描述。
「你是不是常旅行的人」通常太虛。 「你過去六個月有沒有自己在線上完成三次以上住宿預訂」就準很多。
2. Variation:這一輪需要哪些差異被保留下來
不是所有樣本都該長得一模一樣。
有些研究你會希望保留某些變異,例如:
- 新手 vs 熟手
- 高頻 vs 低頻
- 企業帳號 vs 個人帳號
- 手機為主 vs 桌機為主
- 主要決策者 vs 實際執行者
- 都市地區 vs 非都市地區
- 有輔助科技需求的參與者
這不是為了湊多元漂亮,而是因為某些差異會直接改變你看到的摩擦。
3. Exclusion:哪些人進來反而會污染研究
這一層很多團隊最容易偷懶。
常見要排除的對象包括:
- 和產品團隊太熟的人
- 最近已經參加過太多研究的人
- 其實不是目標使用者,只是對題目有興趣的人
- 會因為職業背景而過度專業化看待產品的人
- 沒有相應權限或責任,卻被拿來代替真正角色的人
不是每個願意來的人都該收。 願意來,只代表他願意來,不代表他能回答你的問題。
第二步才是 deciding where to find them
找到對的人,通常不是只有一個管道。
我會把 recruiting source 想成六種,各有優缺點。
1. 既有使用者名單
這通常是最快的。
適合拿來找:
- 現有活躍用戶
- 特定行為分群
- 最近完成某件事的人
- 最近流失、取消、退款的人
好處是 target 很準,而且常常能接到 product usage signal。
壞處是容易只聽到你已經摸得到的人,看不到非使用者、潛在客群、或已經遠離的人。
2. CRM、newsletter、研究招募池
如果你平常就有在收集 research opt-in,這會很省力。
但這一群人往往比平均使用者更願意回饋、更熟悉研究流程,也可能更寬容。這對某些問題是好事,對另一些問題則可能讓結果偏暖。
3. 招募 agency 或 panel
當你需要:
- 一般大眾樣本
- 特定職業或情境
- 跨區域
- 有無障礙需求的受試者
- hard-to-reach users
agency 通常很有價值。
但前提是你的 brief 和 screener 要夠清楚。不然 agency 只會很有效率地幫你找來錯的人。
4. 社群、專業組織、第三方團體
如果你研究的是比較特殊或有明確社群脈絡的使用者,例如教師、照護者、接案者、工程師社群、特定疾病患者、某種輔具使用者,這種來源常常比廣泛投放更準。
但也要注意,這些群體成員不一定等於你的目標使用者。
能接觸到某個社群,不代表那裡每個人都符合研究問題。
5. 現場攔訪或 pop-up recruitment
如果你需要的是剛完成某個行為、正在某個場域裡的人,現場攔訪很有力。
例如:
- 剛完成櫃檯流程的人
- 正在圖書館、門市、醫院、校園裡做某件事的人
- 剛結束某個申請或購買流程的人
這種方法的好處是情境近、記憶新。 但它不適合問太長、太私密、太複雜的題目。
6. 內部使用者
如果你做的是內部工具,當然可以研究同事。 但如果你做的是外部產品,就不要太常拿公司同事代替真實使用者。熟悉度、知識背景、風險容忍度、動機結構都可能差很多。
Screener 不是行政表單,而是研究的第一道方法關
screening question 的目的,不是把表單填滿,而是幫你判斷這個人值不值得進 session。
我通常會用幾個原則。
原則一:問過去的行為,不要問未來的意圖
比起問:
- 你之後會不會想用這種產品?
- 你有沒有興趣研究旅遊規劃?
更好的問法通常是:
- 你過去三個月有沒有自己安排過住宿?
- 上次比較住宿選項是什麼時候?
- 你最近一次因為什麼原因沒有完成預訂?
過去行為通常比未來承諾可靠太多。
原則二:避免讓人一看就知道什麼是「正確答案」
如果你的 screener 問得像這樣:
- 你是否經常遇到住宿比價困擾?
- 你是否常為了資訊不透明而感到挫折?
那其實很像在教對方怎麼被錄取。
screening 的好問題,應該比較像是在描他的經驗輪廓,而不是給他背標準答案。
原則三:把自我感受題留到後面,把 eligibility 題放前面
先確認他是不是對的人,再問較細的偏好、感受或補充分群題。 不然你很容易在不重要的地方收一堆漂亮資料,卻沒先把 fit 判清楚。
原則四:不要只看一題,要看組合
很少有人會因為單一答案就一定該被收或被排除。
真正有用的是:
- 最近是否做過相關行為
- 頻率如何
- 在這件事裡扮演什麼角色
- 使用哪些工具或替代方案
- 決策權在誰身上
- 是否符合你這輪需要的 variation
PM 很常找錯的幾種人
1. 太熟的現有愛用者
他們很好約、很願意講、也常常很願意幫你補完邏輯。 但如果你現在研究的是新手、switcher、流失者或高風險決策,他們通常不是最好的樣本。
2. 很會表達,但沒有真實經驗的人
有些人很會參與訪談,也很會給意見,但他其實沒真的做過你在研究的那件事。 這種資料很滑順,卻容易失真。
3. 被代理出席的人
尤其在 B2B 或家庭決策場景裡,常會發生真正做決定的人沒來,來的是協助執行的人,或反過來。 這兩種角色都重要,但不能混為同一種 evidence。
4. 研究職業戶
參與過太多研究的人,未必一定不能用,但他可能比一般使用者更懂怎麼回答、更懂怎麼配合任務,也更熟悉產品研究的節奏。對某些問題,這會造成偏差。
Incentive、consent、privacy,不是附帶小事
我不會把這些當法務 appendix,而會把它們視為 research quality 的一部分。
Incentive
合理 incentive 會提高出席率,也會讓 hard-to-reach participants 願意花時間。 但 incentive 也不能設計得像在鼓勵人亂填 screener 或湊答案。
Consent
你要讓參與者知道:
- 研究是做什麼的
- 會錄影錄音嗎
- 資料怎麼存
- 可不可以中途退出
- 哪些內容會被匿名引用
Privacy
research recruiting 常常會碰到聯絡方式、工作背景、健康或無障礙需求、甚至敏感情境。 這些資料不是拿來堆在一張表裡就算了,而是要有最低限度的資料管理意識。
一個比較實際的 recruiting workflow
如果你今天是 PM,要自己拉一輪最低配 user research,我會建議順序長這樣:
- 先寫研究問題,不要先寫邀請文
- 根據問題定 core fit、variation、exclusion
- 決定你這輪要找哪幾類 participant,而不是只找一種平均人
- 寫 screener,先問近期行為與角色,再問補充分群題
- 決定 recruiting source:現有名單、agency、社群、現場、內部,還是混合
- 準備 invitation、reminder、backup list
- 明確說明 incentive、時間、形式、consent、privacy
- session 前再做一次 eligibility 確認,避免最後一刻才發現找錯人
給 PM 的一個最後提醒
很多 PM 會把 recruiting 覺得很煩,因為它不像洞察那麼有光環,也不像實驗那麼有節奏感。
但研究品質常常就是在這裡分水嶺的。
你可以有很好的訪綱、很好的主持能力、很好的分析框架。
可是如果你從一開始就找錯人,你後面做得越完整,只會把錯誤放大得越漂亮。
下一篇我會接著講 outreach、screener、incentive、consent 這一整套怎麼變成可重複流程,而不是每次臨時約人。