其實用 Surprise 這個字眼是不正確的，比較講究、比較有學術味道的說法應該是用 Novelty and Serendipity 這兩個字。如果查字典，這兩個字代表的是「新奇」、「意外的發現」；如果和實務相參照，我們會發現，Novelty/Serendipity 恰好是彌補準確度（accuracy）指標不足的概念。
僅僅只有準確度（accuracy），不足以評估推薦系統的良窳，已是產界、學界共同的認知，在筆者查閱過的資料中，以 Search Inside the Music 專案負責人 Paul Lamere 所寫的 The Music Recommender Face-Off 和 Greg Linden 的註解，解釋得最為生動。
筆者也曾經為文解釋準確度不是完善的評估推薦系統（準確度不是錯誤，只是不足）的指標的原因，在文章中我舉了書籍推薦的例子，說明為何推薦系統預估準確度、購買意願、增加營業額三者間沒有辦法畫等號。
談過 accuracy 之後，筆者先前也介紹了覆蓋率（coverage）指標，這是研究人員為了矯正準確率的缺失所作的努力之一，而 Novelty/Serendipity 則是從另外一個角度切入的結果。
以Paul Lamere 文章中的說明為例，他的研究主題是音樂的推薦，所以他認為一個好的推薦系統，要具備三個條件：
在拙文「為甚麼只有準確率是不夠的」以及「推薦系統的覆蓋率」 中，筆者用實際的例子說明準確度可以衡量 familiarity 和 relevance 這兩個方面的表現，但是不足以評估推薦名單的的豐富與多元的程度。
- familiarity - to help us gain trust in the recommender
- novelty - without new music, the recommendation is pointless
- relevance - the recommended music has to match my taste
為甚麼要談 novelty/serendipity？為甚麼推薦名單的豐富性與多元性很重要？讓我們回到原點，來分析這個問題。
建置推薦系統的目的很單純，無非是為了提高營收。要達到目的，推薦系統首先要能提供正確的商品資訊，所以推薦清單中的物品一定與消費者的個人資料或是購買歷史紀錄有關聯，如果資訊正確，消費者也確有相關需求，這樣的名單很快就消耗光了。所以名單中必須有「可以認出關聯脈絡但直覺上不這麼相關的」、「新鮮的」項目，才能刺激出新的購買意願，而且藉著新項目的加入與購買行為的交互作用，才可以讓名單一直保持多元而豐富的成長下去。
我們在實體世界購買商品時，也是這樣。高明的店員，總是會試著用各種方法旁敲側擊、試探我們的喜好，瞭解各個商品成交的可能性，進而用語言刺激、提出不同的商品建議組合、提出替代方案等等方式，增加購買機會與意願，以達到增加營業額的最終目的。
Novelty/Serendipity 正是要在推薦名單中起到類似的作用，如果推薦名單中都是消費者心中早就知道的資訊，甚至對名單內容早有定見，這樣的推薦名單對「促進」銷售金額有多大幫助，實在是不樂觀。假如推薦名單能讓消費者感到新意，刺激消費者查詢、嘗試、思考，並進而購買原本不是十分熟悉的物品，對於提昇營業額有極大的幫助。
當我們在探討「推薦系統與長尾」時曾經提過，的確有些推薦系統會促成強者愈強 rich-get-richer 的情況，顯然提昇系統的 novelty/serendipity 是避免錦上添花效應的努力方向之一。
不過，Novelty/Serendipity 的觀念雖然迷人，但是這個指標比覆蓋率更難測量，雖然我們知道 Novelty/Serendipity 是推薦名單 nonobviousness 的程度，但是我們很難具體的評估某份推薦名單比另外一個名單要「新奇」或是「有用」的程度，因為我們沒辦法衡量、體會消費者的感受。
當然我們不能停在這兒，我們可以試著用幾個間接指標去衡量推薦名單的 novelty 程度，例如：
- 分析推薦名單中物品受歡迎（比如說銷售金額、排行）的程度，我們可以計算所有推薦物品的平均普及度（average popularity），或者強迫規定名單中有若干比率的物品不能是暢銷商品
- 長期追蹤消費者購買物品的習慣，分析消費者購買的商品種類（category）是否增加？
No comments:
Post a Comment