別的就管他娘
我終於肯定，張小姐確實來人間走過一遭...
如何評估推薦系統（一）
這是很多年前的舊文了，最近有些網友找到這篇文章，於是有了一些很有意思的對話，我記錄在下面兩篇文章，如果您有興趣，也歡迎看看這些簡短的記錄，批評指教。謝謝。
如何評估推薦系統（二）記一次推薦系統對話
-----
任何工作，包括學術研究與商業專案，都必須有衡量成績好壞的客觀標準（metrics），我們才能據以評估工作的品質以及判斷優缺點，並進而找出改進的方向。
我們剛接觸一個新的研究對象時，或許因為缺少標的物的相關知識（所以我們才要研究呀）；也可能因為缺乏經驗，不知該觀察紀錄那些資料，常常不能找到理想的計算方式與評估標準。但是隨著我們對於研究對象的所知愈來愈豐富，數學計算的工具與實體的測量工具越來越方便好用，評估量尺的可用性與實用性也隨之進化，能提供我們更多研究（或者是商業上的決策）上的輔助。
學術界開始推薦系統的研究始自上世紀90年代初，這十餘年來（今年是 2008年，自九零年代至今，接近二十年了），經過許多學者的精心灌溉，發展出許多有用（且有趣）的演算法，也發展出許多評估推薦系統的計算方式。
因為電子商務的發展，推薦系統的重要性，已經廣受經營者與研究者的肯定。因此評估推薦系統時，從商業上的基本面來考慮，就是最實用的評估標準了。換言之，我們要問的是「推薦系統」的預測有多精準？建議是否有用？提昇營業效益多少？
經過學者的努力，目前廣泛被使用的評估工具有兩大類，第一類考量的是推薦系統的正確性（Accuracy），也就是計算推薦系統的預測與消費者行為的誤差有多大，誤差愈小，推薦系統的精準度愈高。
(推薦系統評估方式的分類：Accuracy and Usefulness)
正確性的評估，還可以再細分為 Prediction Accuracy 和 Decision-Support Accuracy ，前者以 MAE （Maximum Absolute Error）、RMSE （Root Mean Square Error）等常用的統計工具，計算推薦系統對消費者喜好的預測與消費者實際的喜好間的誤差平均值；而後者則以 Reversal Rate 、Precision-Recall 或 ROC curve 為主要工具。。
Prediction Accuracy 指標很容易理解，計算方式也不複雜，Netflix Prize 競賽，就是以 Prediction Accuracy 作為評定得…
如何評估推薦系統（二）記一次推薦系統對話
-----
任何工作，包括學術研究與商業專案，都必須有衡量成績好壞的客觀標準（metrics），我們才能據以評估工作的品質以及判斷優缺點，並進而找出改進的方向。
我們剛接觸一個新的研究對象時，或許因為缺少標的物的相關知識（所以我們才要研究呀）；也可能因為缺乏經驗，不知該觀察紀錄那些資料，常常不能找到理想的計算方式與評估標準。但是隨著我們對於研究對象的所知愈來愈豐富，數學計算的工具與實體的測量工具越來越方便好用，評估量尺的可用性與實用性也隨之進化，能提供我們更多研究（或者是商業上的決策）上的輔助。
學術界開始推薦系統的研究始自上世紀90年代初，這十餘年來（今年是 2008年，自九零年代至今，接近二十年了），經過許多學者的精心灌溉，發展出許多有用（且有趣）的演算法，也發展出許多評估推薦系統的計算方式。
因為電子商務的發展，推薦系統的重要性，已經廣受經營者與研究者的肯定。因此評估推薦系統時，從商業上的基本面來考慮，就是最實用的評估標準了。換言之，我們要問的是「推薦系統」的預測有多精準？建議是否有用？提昇營業效益多少？
經過學者的努力，目前廣泛被使用的評估工具有兩大類，第一類考量的是推薦系統的正確性（Accuracy），也就是計算推薦系統的預測與消費者行為的誤差有多大，誤差愈小，推薦系統的精準度愈高。
(推薦系統評估方式的分類：Accuracy and Usefulness)
正確性的評估，還可以再細分為 Prediction Accuracy 和 Decision-Support Accuracy ，前者以 MAE （Maximum Absolute Error）、RMSE （Root Mean Square Error）等常用的統計工具，計算推薦系統對消費者喜好的預測與消費者實際的喜好間的誤差平均值；而後者則以 Reversal Rate 、Precision-Recall 或 ROC curve 為主要工具。。
Prediction Accuracy 指標很容易理解，計算方式也不複雜，Netflix Prize 競賽，就是以 Prediction Accuracy 作為評定得…
Comments
Post a Comment