Monday, December 31, 2007

2007年的最後10分鐘

這時候人人都在抒情,彷彿在略帶憂傷或者自嘲的情緒裡,這一年就有了一種別樣的意義。(和菜頭說) 。

童心園主這時候談起她的 2007


從小到大寫過無數的年度總結和新年計劃:

新的一年又要來到了,我有什麼新的打算呢?一、二、三、四一番陳述(小學高年級,不用硬憋,能通順寫出200字的階段)

當日歷只剩下最後一張的時候,當新年的鐘聲即將敲響的時候,我的心情無法平靜,回想過去的一年,我的收獲不少……(初中二年級,用小本摘抄名著名言階段)

19XX年又離我們遠去,在這個離高考還有XXX天的日子裡,我有什麼新的計劃呢?(高中,滿腦子試卷,被逐漸訓練成考試機器的階段)

歲月荏苒,光陰似箭,過去的一年是令人難忘的一年,即將到來的一年是充滿希望的一年。(大一,愣愛把「磨嘰」說成「延宕」,把「惦記」說成「覬覦」的階段)

如今,我以高小水平的文筆寫下開頭:

2007年我做了什麼呢,2008年我打算做什麼?

這時候 Daniel Lemire

"I will be a better writer in 2008. I promise!"
  • I will not use negation
  • I will not use useless acronyms...
  • ....

在 2007年的最後10分鐘,我說:

  • I will be a better father.
  • I will be a better husband.
  • I will be a better manager.
  • I will be a better student.
  • I will be a better teacher.
  • I will be a better writer.
  • I will be a better man in 2008. I promise.

How they won the Netflix Progress Prize 2007?

上個月(2007/11/13),Netflix 宣佈今年度的 Netflix 獎金賽 (想了解什麼是 Netflix Prize,請看說明1說明2)年度成就獎,由 AT&T 實驗室三位研究員( Bob Bell, Yehuda Koren, and Chris Volinsky )組成的 BellKor (原本叫 KorBell) 勝出。

在決定成績的10月1日,BellKor 當天的分數是 0.8712,三個月後,12月31日的最後成績是 0.8700,比當初確定得獎時的成績還略有小進,下圖是 Netflix Leaderboard 到現在(台北時間2007年12月31日)為止的排行。

BellKor在團隊首頁,公佈了幾份文件,說明他們所使用的策略,以及分析資料的心得與感想。簡而言之,他們使用 Collaborative Filtering 技術,並且有不少演算法上的改進與創見,這些研究上的成果,有些在今年度的 ICDM 07KDD 07 兩個學術研討會中發表。如果想閱讀這幾份文件,請參閱說明,點選文件超連結下載文件:

依照" Chasing $1,000,000: How We Won The Netflix Progress Prize"和"The BellKor solution to the Netflix Prize"這兩篇文章的說法,他們使用了 nearest neighbor methods 和 latent factors models 技術,以線性方式綜合 107 種預測預算數值,得到最終運算結果。這是以工筆的手法,畫長江萬里圖,功夫精深令人咋舌,我們只能說聲佩服佩服,對這三位學者獻上誠摯的賀忱。

研究推薦系統的學者 Daniel Lemire 看了 BellKor 的文章,在他的部落格中發表了他對於BellKor 參賽策略的理解 - How to win the Netflix $1,000,000 prize?。在文章中,他分析作者群研究資料時得到的觀察結果,以及在開發參賽程式時,實驗過程中得到的心得, Daniel 並以精要文字,說明了這些研究心得:

Here are some principles I take away from their work:

  • Singular Value Decomposition is useful to get overall trends.
  • Nearest-neighbor methods are better at picking up strong interactions inside small sets of related movies.
  • Nearest-neighbor methods should discard uninformative neighbors.
  • If you discard ratings and focus on who rated which movie, you seem to get useful predictors complementing the rating-based predictors.
  • Regularization is important (they use ridge regression) as expected.
今年度的成績已經成定局,但是所有的參賽者距離摘冠( RMSE <= 0.8563)仍然有一段長路要走 (it's a long way off)。其他的參賽者,想必不會束手讓 BellKor 獨走,最精彩的變化可能還沒有出現咧 , you ain't seen anything yet ...

雖然這場競賽的不僅提昇 Netflix 的知名度(當然是指在美國市場),也在學界掀起相當程度的關注(KDD 2007 有 Netflix Workshop 就是明證),但是也有些不同的聲音改進意見,值得我們關注和思考。

提到對於 Netflix Prize 的Tom Slee 今年七月在 The Nerflix Prize: 300 Days Later 表達的觀點,絕對不應被忽略。他在文章裡以將這個競賽的規則解釋得相當清楚(比我看過其他任何文件都清楚明白),然後解釋為什麼均方根誤差(RMSE: root mean square error)不是一個好的評比標準,他還在文章中以圖表說明 10% 的 RMSE 差異,在提供更好消費者服務這件事上是沒有意義的。

年度成就獎金公佈之後,作者(Tom Slee)在今年12月25日,對文章內容作了相當大幅度的增補,不過基本上,他還是認為 Netflix Prize 不能說服他真的達到集合眾人智慧(WISDOM OF CROWDS - 這是推薦系統研究者普遍相信的價值觀,推薦系統的精神是集合大眾的智慧,最終讓商家能找出提供更佳服務的方法)讓服務升級的目標。在文章最後,他的聲明是這麼說的:
I'm no futurist, but I see little evidence from the first 300 days of the Netflix Prize that recommender systems are the magic ingredient that will reveal the wisdom of crowds.
對於競賽辦法,以及競賽本質的質疑,固然值得我們思考。在 Collaborative Filtering 領域的研究方法以及研究成果,也有學者指出值得我們重視的盲點。

曾經是 Amazon 推薦系統開發者的 Greg Linden ,也是一個相當活躍的部落客,他在恭喜今年度得獎者之餘,提出對 overfiting 問題的警告 -
This work is impressive and BellKor deserves kudos for winning the prize, but I have to say that I feel a little queasy reading this paper. It strikes me that this type of ensemble method is difficult to explain, hard to understand why it works, and likely will be subject to overfitting.
有一個場景 ,許多台灣(這個問題應該不是台灣獨有的)的研究生們應該深有體悟,為了要讓學位論文裡的數據好看,熬夜琢磨著如何更改演算法和程式,讓演算法的輸出,在那一千零一組 static data 上,能得到最佳的效果。這107個預測模型的計算,也某種程度反應了這種「精神」,overfitting or overoptimized ,這是個值得思考的問題。

Daniel Lemire 從另外一個切入點,說明為什麼只使用一組靜態資料是不夠的,他認為『推薦系統不會影響使用者想對哪些產品評分,也不會影響評分的結果』的假設是有必要修正的, 因此他提出了一個還沒有被證實的假設 -

people's preferences are often constructed in the process of elicitation

我個人是相信這個假設的,但是要如何證實這件事並不容易,Daniel 自己也說他還不知道如何模擬電子商務網站的用戶行為,如果有人想出怎麼作,請和他聯絡:
If someone out there know how to simulate users (something I do not know how to do), please get in touch! I have no idea how to do sane user modelling and I need help!
雖然這不是件容易的工作,但是 Daniel 的態度坦率磊落,令人大生好感。這個問題還有另外一個意義,我們可以發現網際網路的生態,將漸漸影響研究和出版的操作模式,雖然不是劇烈( radical changes 是不可能的 )的改變,但這種變化,是值得我們放在心上,繼續觀察的。

延伸閱讀:
後記:
今年花了不少時間閱讀推薦系統的資料,以及關注 Netflix 大賽的動態,為了有始有終,我決定在 2007 年的最後一天,把 Netflix Prize 的狀況,作個階段性的總結。明年開始,我仍然會持續關注推薦系統的發展,但不會再聚焦在 Netflix Prize 上,而會把焦點延伸到更一般性的主題上。

New evidence - it should be 1652 ?

先前在查 Coffee House 資料時,花了許多力氣,最終還是在 The First English Coffee House - 1650 or 1652 裡,得到一個模稜兩可,非常滑頭的結論:

雖然不同出處的資料略有出入,綜合以上從網路得到的資料,對照 The Coffee Book 的原文, 我們可以得到一個還算可以接受的結論:大不列顛第一家咖啡屋,在1650年成立於 Oxford;而倫敦(London)第一家咖啡屋的成立時間,是 Oxford 咖啡屋開門的兩年後,西元 1652 年。

不過剛剛收到 Amazon 的推薦購買裡發現這本


在產品資料中,書籍簡介(Book Description)裡,很明確的說 :
When the first coffeehouse opened in London in 1652, customers were bewildered by this strange new drink from Turkey—hot, bitter, and black as soot (好狠的說法). But those who tried coffee were soon won over, and more coffee-houses were opened across London, America, and Europe. For a hundred years the coffeehouse occupied the center of urban life, creating a distinctive social culture. They played a key role in the explosion of political, financial, scientific, and literary change in the 18th century, as people gathered, discussed, and debated issues within their walls。
這應該算 1652 的又一個證據吧...

(這篇剛好符合 Back to blogging, I hope 的三十分鐘原則,哈)

Sunday, December 30, 2007

[詩戀] 一封平信的內容

最近才開始注意到,聯合副刊有個不定期出現的單元,叫做「新詩潮」,或許就像南方朔在「給自己一首詩」的自序裡所寫的,世界上,有很多正在發生的事,我們都不知道。特別是關於詩

讀著讀著,又感覺到年少時抱著鄭愁予詩集入睡的那種滋味,不由得想把那種沁涼與酸澀記起來,所以決定把握住當下,從今日起把有感覺的詩篇記下來,不論古今中外,只要留住那種感覺,是為「詩戀」。

詩人從砂裡張望世界,而我們則從他們的凝鍊裡求取啟發。而最重要的,是讓我們從此以後,都能重新撿回我們曾經有過的,對詩、對人生的愛與喜


(上面這張照片,是央求友人找到舊報紙,用照相手機翻拍的,光線雖然不是頂好,清晰度還是不錯的。不知道為什麼,看到「一封平信的內容」,總想到第一次寫信給異性筆友的場景 - 有了 email 之後,有多久沒有「 你也許開始後悔,剛才將信投入郵筒」的感覺了?)

一封平信的內容/孫維民

我喜歡寫信給你,因為
不喜歡電話。如果可能
我更樂意魚雁往返
雖然的確緩慢和危險──
我喜歡寫信,因為珍惜
悲哀的距離,寧願面對
窗外的植物(它清楚
我晨間的妄想)猶豫
期待著,陰晴不定的黃昏
幾次斟酌的字句終於
冷淡,簡潔。之後攜傘
下樓,繞過違建及垃圾車
讓貼好的水果郵票墜入
郵筒內的夜色
我喜歡寫信給你,因為
不喜歡虛無。天長地久
的夢,有時即是生之奢華──
雖然我也的確樂意發現
門後的信箱中斜倚著
一貫的單薄,人類的筆畫
雖然撕開封口的,複雜的
手續,我也知道珍惜
甚至可能喜歡在字句間
反覆構築你的妄想(它
斑斕似蛇)或者容貌
猜測你的熱情早已加倍
你也許開始後悔,剛才
將信投入郵筒

Thursday, December 27, 2007

哥哥比弟弟大幾歲

出版國中(九年一貫中的七到九年級)學科測驗卷的廠商,針對同一個科目,都會編製不同難度的測驗卷,供老師斟酌情況選擇,通常難度依照 A、B、C 順序遞減。

最近,一位熟識的國中數學老師,對我說了一件最近他遇到的真實案例。某廠商今年度數學科七年級 (國一)C 卷,有一題是這樣的:
有兄弟兩人,哥哥比弟弟大七歲,請問 x 年後,哥哥比弟弟大幾歲?
在他教的班級裡面,每個班級答錯這題的人數,恰好都是 15 人(這些人的答案絕無例外,都是 x+7)。在檢討題目的時候,這些同學都對自己做錯這題深表後悔,異口同聲地說:「老師,我們被這個題目的陷阱騙了」。

(背景說明:這位老師任教的地區,國中班級人數在 35-39 人之間)

根據最近公佈的 PISAPIRLS 測驗數據,台灣學生在「閱讀」方面的表現很不理想,有沒有人和我想到一樣的事情....


延伸閱讀:
香港在 PISA 和 PIRLS 兩個測驗的表現都很出色,尤其是閱讀成績,遠遠超過台灣,是很好的參照對象。

圖解次級房貸(Subprime)

最近這半年來,國際財經新聞最熱門的題材,莫過於次級房貸(Subprime Lending)了,不僅美國的經濟受到重大影響,不同經濟體系的國家,也感受到「美國傷風,小弟打噴嚏」的莫名壓力。

在這樣的大環境下,各式媒體當然努力的以「事後諸葛亮」之姿分析美國今日窘境的成因,當然也少不了找多方意見領袖,「深入」探討次級房貸對其他經濟體系殺傷力的意見。

但是看了各媒體不知所云的解釋,和眾多政治、財經界檯面人物的嘴砲之後,原本不明白這是怎麼回事的還是不會懂;除非原本就是財經領域的從業人員或者所學與此相關,否則想弄明白次級房貸的來龍去脈和對我們的影響,實在是難度很高。

不甘作個半文盲,所以先使用維基百科,找到 subprime lending 的定義,然後再
透過 ReseachRecap ,找到 BCC 在今年11月刊出的 "The US sub-prime crisis in graphics" ,結合這兩份資料,對於次級房貸,終於有比較清楚合理的認識。尤其是 BCC 的文章以精緻的圖形解說次級房貸與傳統貸款在運作方式上的差異,並且以各種圖表說明次貸風暴對於美國經濟在各方面的影響,包括:
  • the new model of mortgage lending and how it went wrong
  • the rise of the mortgage bond market
  • how subprime lending affected one city (Cleveland)
  • the housing price crash and its impact on construction and the economy
  • the credit crunch, bank losses and the bond market collapse


看過 BBC 的文章,我只能用「傾倒」二字形容我對於 BBC 的觀感,無論是資料爬梳整理的紮實,還是呈現方式的精緻度,都令人動容。今年八月,我曾經為文介紹 BCC Most Popular Now ,這個月又傳出,他們正在開發測試 Netvibes-like 的個人化新聞網頁。BCC 在擁抱網路科技上的積極大膽,以及高水準的資料品質,的確有「國際」媒體的風範。

次級房貸延伸閱讀:

除了以上兩篇英文資料之外,有幾篇中、英文資料不妨參考:

關於 kwout

拉裡拉雜寫這麼多,其實只是為了測試 kwout 的截圖功能(grin),想了解 kwout 的話,看看 GOWEB20 的介紹,或者直接到 kwout 網站看他們的說明。

Tuesday, December 25, 2007

The real value of a scientists's wage

剛看到一位大陸的博客(閱微堂),抱怨中國地區的博士薪水全世界最低,他用相當激烈的標題「中國科技工作者全世界最賤」表達這種現象,情緒不言可喻。

文章裡說 歐盟執行委員會(European Commission) 在調查分佈在38個國家(地區)的科學工作者們,在2006年的薪水待遇,在圖表最下一欄的是「中國」。考慮地區物價水準,修正後的結果,最後一名仍然是中國。

下載原始文件需要付費,所以只能附上閱微堂在文章裡使用的圖片作為證據囉!聰明的你,當然和閱微堂的讀者一樣,馬上要問,灰色收入到哪裡去了?

除了灰色收入,我還想問,台灣是否在調查範圍裡?

Sunday, December 16, 2007

年終檢討: Data mining doesn't cure stupidity

Chris Anderson 在「長尾(The Long Tail)」這本書的導論裡,開宗明義直指長安地說- the tracking of top-seller lists is a national obsession,又說 hits have become the lens through which we observe our own culture

這幾句話,確實把今日消費導向的大眾文化詮釋的相當精準,不論眾人對於長尾的評價與(再)詮釋如何,追求 List and Ranking 確實是我們所處社會的普遍現象。尤其到了年底,出自各個產業、各式媒體,花樣繁雜的各式排行、檢討紛紛出爐,完全是眼花撩亂,目不暇接。當資料氾濫,多到令人眼疼,不禁讓人懷疑,連年終檢討這件事,也有 blockbuster 和「小尾巴」之分。

所幸 Gary Price 領軍的 Resource Shelf 將各媒體做的年終檢討,統統打包在一篇 Year End Wrap-Ups 裡,讓追求趨勢的讀者可以做到 (當然是 nearly 啦)one stop shopping 。

這個名單裡有時代雜誌(Time Magazine)評比的各項「最佳十大」,還有告示牌(Billboard)的各種音樂排行榜,也有尼爾森(Nielson)對 2007 年各項趨勢做的年終報告,當然也少不了 Google 的 2007 搜尋趨勢,名單不短,有興趣的人不妨到 Resource Shelf 自己感受一下。

看了大環境的趨勢動態,接著看看轟轟烈烈的江湖風雲中,各自領一方風騷的言論領袖們的真知灼言。另外一個有名的新聞聚合網站 Mashable 整理了今年科技界的最佳發言(Best Technology Quote of 2007),說明詳盡有趣,比起 ResouceShelf 乾巴巴的條列式清單,可讀性高很多。

Mashable 眾編輯,認為今年度最精彩的發言,是 Steve Ballmer (微軟的 CEO)對於社群網路( social network) 的評論,在公開批評 social network 無非是青少年中的短暫流行(fad)後不到一個月,微軟投資 Facebook 兩億四千萬美金。

看完意見領袖們的發言,百花齊放的 Blogshpere 更該給予更多的關注,但是最佳文章的遴選,實在是不可能的任務。全球七千萬個部落格,一年中產出的文章數量實在太多,沒有人能夠盡讀,不管個人 Google Reader 裡的分享項目再多,也沒法子把 2007 年的 Blogosphere 的多采多姿描繪於萬一。

愚者千慮,個人認為,今年度最有意義文章,首選應是 Data Strategy Data Mining doesn't cure stupidity,這篇文章不長,第一段就簡要地闡明腦筋清楚比技術更重要的真諦:
Data mining, when done correctly, can improve understanding and provide insight, but data mining just doesn’t work under stupid assumptions. Check out the following paragraph in a Wall Street Journal blog. Apparently some FBI agents assume hummus sales to be predictive of terrorist activity.
這段文字裡的 Data mining 換成任何名詞,都說得通,不管排行榜再多,檢討再繁,腦袋清楚才是最重要的。時值歲末,展望來年,這才是最要緊的心得,切記,切記。

「人民」是個偽概念

有個朋友看了我的網路書櫃,問我選擇書籍的標準。我想了想,除了賴以維生(混口飯吃)的專業書籍之外,無非就是圍繞著「懷舊」和「好奇」兩個主題吧。

這兩個主題,既矛盾又協調,主宰了我的前半生,想來下半輩子仍會繼續與這兩個主題糾纏下去。

追探父祖輩成長時所發生的一切,和從啟蒙至今這個世界所發生的一切(從不識之無到青春期,所見所感畢竟只在五里方圓),是我這幾年特別著意的主題。當我在圖書館發現兩本分別談兩岸的八十年代的書,趕緊把這兩本「」回自家書房。

同時看查建英八十年代訪談錄和時報出版的狂飆八○,是個有趣的經驗,看同個種族的人們在兩個不同的社會條件下,追求更多的心靈釋放與更多「可能性」的過程,是很震撼也很「享受」的閱讀經驗(驚豔)。一邊是自小生於斯、學於斯的環境,但是從來就不覺得自己很瞭解這個社會;另外一邊則是自小充滿好奇,及長卻必須擔憂後半輩子的飯碗要被這邊碾碎,心驚的是,我對這一邊瞭解則更少了。

當我在八十年代訪談錄看到阿城(就是說「什麼事情一到專業地步,花樣就來了」的那個阿城)接受受查建英訪問講的一段話,我不禁笑了(捻花微笑的境界太高,下面這段話的詮釋權留給讀者吧)。
我記得陳映真問我作為一個知識份子,怎麼看人民,也就是工人農民?這正是我在七十年代在鄉下想過的問題,所以隨口就說,我就是人民,我就是農民啊。 .... (省略)..... 寫作的人,將自己菁英化,無可無不可,但人民是什麼呢?在我看來,人民就是所有的人啊,等於沒說啊。不過在菁英看來,也許人民應該是除自己之外的所有人吧,所以才有「你怎麼看人民」的問題

所有的人,都是暫時處在有權或沒權的位置,隨時會變化。一個小科員,在單位裡沒權,可是回到家裡有父權,可以決定或干涉一下兒女的命運。你今天看這個人可憐,屬於弱勢群體,可是你給他點權力試試,他馬上也會有模有樣地刁難欺負別人。這是人性,也是動物性,從靈長類的社會性動物就是這樣。「人民」是一個偽「概念」,所以在它前面加上任何美好的修飾,都顯出矯情

Saturday, December 8, 2007

電腦的重量

這幾年,網路上流傳關於某個電視購物頻道推銷的笑話,第一句就是『我們的筆記型電腦40G的硬碟,裝了30G的東西,重量一點都不會變喔...』,在 LOL ( Laugh Out Loud ) 之前,諸君可要搞清楚,購物台可是做過功課的,請看:

Business @ The Speed of Thought
The great thing about a computer notebook is that no matter how much you stuff into it, it doesn't get bigger or heavier.

Bill Gates, Business @ The Speed of Thought

Wednesday, December 5, 2007

從 Google Reader 的訂閱推薦談起

時值歲末,Google 旗下的服務異動很多,好像急著在年底前倒出一籮筐「好東西」,作為給用戶的 Christmas (新年)禮物。 GMail 啟用第二版介面才沒兩天,就又增加 Group Chat 、彩色標籤和 AIM 的整合。和郵件服務有點「兄弟臉」的 Google Reader 也沒閒著,先是提供拖拉(drag-and-drop)方式管理訂閱清單的功能,這兩天
宣布開始提供推薦閱讀 (Feed Recommendation)功能。

在部落格圈子(Blogospphere)裡,對於訂閱推薦的反應很是熱鬧,新聞型的網站是報導加轉載,一天要看上很多次報導;評論型的博客們,則各自發表了試用的心得,從經營模式的針貶到推薦精準度的抱怨,遍地開花,倒也有趣。

因為前陣子「閉關」的緣故,刻意讓自己少念些來自網路上的資訊,所以向來關注「推薦機制」議題的我,這回原本並不怎麼關心這個話題的。但是在試了幾個推薦訂閱之後,一些有趣的巧合,讓我對這個議題產生一些想法,開始留意起更多有關資料。

關於推薦訂閱這件事,我的觀察分為兩個角度,第一是 (Online)RSS Reader 的競爭環境,和不同經營模式對於市場佔有率的影響;第二個則是從推薦機制的技術角度來看,與過去所念的文獻相印證。

Google Reader 進入線上 RSS 閱讀市場之後,憑著高明的技術,很快搶下一片天空,
原本市場中的活躍份子,如今只剩 Bloglines 的市佔率還算「可觀」,其餘的競爭者已經被擠壓到一軍陣容之外了。倒是大陸地區因為大環境的關係,本地市場出現了像「抓蝦」、「鮮果」這樣令人驚豔的狠角色,令人期待。

在這樣的大環境下,不少 RSS 閱讀器廠商,都以開發更多社群網路的可能性作為強化競爭優勢的手段。就以促進推薦訂閱這件事來作比較,鮮果鮮果榜BloglinesBloglines Top 100 ,就是這種思維的產物;而 Google 在面對這個挑戰時,採取的態度與 Google News 相若,強調以「資料+演算法」的機制,產生推薦名單。

Google News 的開發團隊,在今年五月舉辦的 WWW 2007 會議中,發表了 Google News 推薦新聞機制演算法的論文 ─ Google news personalization: scalable online collaborative filtering。換言之,Google News 不再滿足於2001年時設定的新聞聚合(automated news aggregater)服務的目標,也加入更多的機制,期望提高這個服務的使用率。

Google Reader 也加入推薦閱讀功能,恰如 Attention Economy: All You Need To Know 所闡述的 ,choicerelevancy 是留住用戶的手、眼和心的不二法門。



雖然有人(原本不是很認真看這個話題,當時沒有作書籤,現在一時找不到出處,等找到再補上)抱怨 Google Reader 的推薦名單,精確度和推薦數目都不理想,認為 Google 作得太草率。以我個人的經驗來看,推薦品質雖然不算完美,倒也沒有太糟糕,也許Google Reader 團隊所使用的演算法還沒有成熟。但我想強調的重點是, Google 「讓資料說話」和「閱讀器功能優先」的信念,和其他業者以社群機制作為留客關鍵手段的想法是有很大不同的

另外一件值得重視的事情是源自巧合,我從 Google Reader 的推薦名單裡找到兩個我很喜歡的部落格 - SyntheseDaniel Lemire's Blog 。這兩個部落格的作者都是資訊科學界中人,書寫的題材恰好也是我關注的議題,所以我非常滿意這兩個推薦項目,其他的推薦項目,雖然不見得合我口味,但在這兩個極度滿意的「掩護」下,讓我沒有太多抱怨(grin)。

讓事情變得更有趣的是,這兩個部落格最近的兩篇文章,都和近日手中的工作或者接下來的工作有關,這樣的巧合,是所有的推薦機制都作不出來的。

Daniel 剛剛寫了搜尋引擎 Quintura 的介紹,這個被 AltSearchEngine 稱為 the alternative search engine of the year 的搜尋界新秀,正是我打算分析、介紹的關注對象之一,原本想年底忙完現在手上的專案,再找些相關資料來消化的。面對這個巧合,頓時有點「眼前有景道不得,崔顥題詩在上頭」的感慨。這是巧合之一。

Synthese 則提到 IngentaConnect (一個提供學術出版品和圖書館服務的廠商)宣布將和 Baynote (提供推薦系統技術的廠商)合作,以 Collaborative Filetering(關於 CF 的介紹,請參考拙作)技術為基礎的建立推薦機制,向閱讀學術期刊的讀者們提供期刊文章的推薦服務。以下是新聞稿部分內容,概略的介紹了這個服務的運作原理 (how it works)。
… context and behaviour are combined to determine the user’s intent, which is then analysed for relevance to that of the site’s other users; patterns that emerge from this analysis are used to recommend additional content which is more likely to be of interest and relevance to the user than regular, contextual recommendations. Sophisticated behavioural analysis monitors not simply clicks and page views, but also the length of time that a user spends on the page and the type of activities that they carry out there.
Synthesis 的作者對於這個合作是有疑慮的,他認為 IngentaConnect 的介紹太籠統含糊,而 Baynote 的產品介紹,則是 too simple to be true。果然是深諳推薦系統箇中三昧的圈內人,只是有些書生氣(我喜歡),對於行銷宣傳目的的新聞稿,也可以有那麼多牢騷,還指出某些推薦系統成敗的要素,果然是讀書人啊。

不論 Baynote 到底是會不會抓老鼠的貓,但是從 Google News 、Google Reader 到 IngentaConnect ,推薦機制不約而同變成各項服務(service offerings)內容的核心機制之一,證明了幾件事:

  • 首先,在競爭激烈的線上世界,內容的 choice 和 relevancy 是抓住客戶的關鍵指標,而推薦機制(recommendations)正是這促進這兩個指標的具體實踐。但是目標雖同,不同的決策者,執行的策略未必相同(本文第一項的分析正說明這個事實)
  • 其次,推薦技術的成熟度,有很大的進展,所以越來越多的業者,可以將推薦機制加入產品中
  • 推薦系統處理的資料品項,越來越豐富,從以零售(retail business)產業的產品(比如說書、CD、DVD),如今內容(content)產業的產品,也將變進入推薦機制的主流
  • 產品資料的複雜度,與日俱增,下一代的推薦系統,必須提升對產品特性資料的掌握度,比如 Google News 的產品─新聞,具有高度的時間相關性,每則新聞的生命週期,可能短到以天為單位,這與傳統 e-business 販售產品的特性有很大差異。另外一個例子,Netflix Prize 的參賽者,曾經有過是否可以援用 IMDB 資料庫內容的爭議。由此可見,產品特性掌握越到位,才有機會建立一個完整的推薦系統。

Back to blogging, I hope

因為種種原因小聲地問:一定要有合理解釋嗎?),很長一段沒有寫東西,這個星期才又試著開始動筆,但是總覺得找不到原先那種感覺,不管是思路還是文字,都有點彆扭,就是覺得不對勁。

也許就像先前所說的,雖然現在正朝著新的平衡穩定的狀態過渡,但是還沒找到那個讓我舒服的「點」吧。

今天整理 RSS Reader 裡的舊文,發現一篇很有趣的文章,參照此刻心境,實在是忍不想大笑,心中激盪,就像古人說「當浮一大白」或是「撫掌再嘆」差可比擬。
I have about a 1000 posts queued up in my brain, but these things take forever to write, and now that I'm working again, I don't have forever to waste. So, in the spirit of "Good enough" is the enemy of "At all", I'm going to start blogging again, but with an absolute limit of 30 minutes per post. If after 30 minutes I'm not happy with what I've written, I'll delete the post and move on for the day.
上面這段文字,出自 Paul BuchheitGMail 的主要開發者)個人部落格,這段文字就像我此時面對 blogging 這件事的心情,大約這就是「人同此心,心同此理」的道理,這種心情是跨越地理疆界,聖賢智愚之別的。

只是以我的才情,腦子裡恐怕找不出上千個點子(雖然不多,打個折還是勉強可以湊出幾個題目的) ;以我的工作速度,也不敢自矜以 30 分鐘為界的嚴苛自我要求。 sigh。

Tuesday, December 4, 2007

[Copy-and-Pasteable Citation] in CiteULike

自從開始用 CiteULike 整理論文資料後,對於各項功能都很滿意,尤其是 tag-based 的歸檔整理方式和允許公開分享資料的社群功能(雖然它的社群功能是很基本的),是我最中意 CiteULike 的兩個特色(當然它還有其他特色,只是我最重這兩點)。

但是我一直苦惱於 CiteULike 在寫文章時的引用管理功能的薄弱,想到寫文章時要以純手工方式編寫參考資料的吃力繁雜,格式與排序要一絲不苟,內文引用書目編號要細心校對,不能錯漏失誤,有不一致的情形。文章內容若有修改,這樣的手工作業,又要來上一回,每每想到,就不寒而慄。

以前在使用 Refworks 時,便對以勾選方式編製清單的便利趕到稱奇,Refworks 還提供排序、(不同期刊)格式轉換、Office 程式 Plugin ,與此相較,CiteULike 這方面實在是差得太遠。每次想到這一點,總猶豫著是否要放棄使用 CiteULike ,換一個工具,索性換回 Refworks 算了。

今天在檢視論文資料時,才發現 CiteULike 的 Citation 功能,沒有原先自己想的那麼不堪,真正該責備的,是我這個不用心的使用者才對。

在點選每則書目的詳細資料之後,在資料編修畫面,有個標題為 Copy-and-Pasteable Citation 虛線方框, 在方框的裡的右側,有個下拉式選單,以滑鼠選擇引用格式(Citation Format)後,方框裡出現這則書目的相應引用內容,使用者可以用剪貼(copy and paste)方式,將這段文字貼入文書處理程式裡,作進一步編輯處理的動作。



雖然這個方式只能處理單筆資料,不能作整批資料的排序,比起 Refworks 所提供的 Write-n-Cite 的便利,更是差了一大截。但是比起我原先我想像的「零分」的程度,倒是好上許多。

也許再等上一段時間, CiteULike 會帶給我更多的驚喜也不一定。

Monday, December 3, 2007

不推薦的名單

很長一段時間沒有寫新的東西了,原本擺在草稿文字匣裡的東西,現在無論怎麼努力,都沒法找回原先動筆前的想法和脈絡(或許該說找不到原先的衝動吧),只能繼續擱著,很鴕鳥的告訴自己,總有一天,我會把它們完成。

作息上的改變,有時候並不是完全自願的,但是往另外一個平衡過渡的過程(見 I'm not in any mood to...),比原先想的要長,工作負荷的加重和作息時間的變動,並不怎麼難克服,真正難以克服的是性格裡難以克服的惰性(慣性)。

當新的工作方式與作息漸漸有了固定的模式,掌握了工作的要點和訣竅,開始有從容的感覺,這時想要恢復原先每天動手寫札記的習慣(慣性),個性裡的疏懶因子,卻讓漸漸習於「新」秩序的自己,怎麼也懶得再次往另外一個「新的秩序」移動。

記得高中物理曾經學過「靜者橫靜動者恆動」的說法,或許這是最近一個月來沒法子完成一篇東西的原因(正確的說法應該是藉口)。

讀書寫字不用功是自己的業,沒什麼好推託。倒是這陣子,沒能即時回覆來信與我討論推薦系統的朋友,實在是該打,在此向被我怠慢的朋友鄭重道歉(James , 對不起)。

原本想對推薦系統的未來研究方向作個階段性的總結整理,看來這陣子是不可能完成了,也許(真的很鴕鳥),再過一陣子,我會重新耙梳整理,完成這個想法。

其實,我倒是沒有停止關注網路產業的動向,尤其 recommendation 和 attention economy 的想法掛勾結合之後, 推薦系統的未來更足玩味。

這裡有個小例子,11月上旬, beyond.Search 介紹了一個很有趣的網站 LibraryThing ,這個網站的經營模式和 anobii 類似,提供網路書櫃功能,讓用戶建立自己的書籍收藏資料,同時開放用戶建立社群,交流心得或是交換書籍。

但是 LibraryThing 提供的書籍推薦功能,令人印象深刻,除了目前已經非常普遍的喜好書籍推薦之外,還有「不推薦」 ─ UnSuggester :Bad Suggestion 的功能。只要輸入一本你擁有或是讀過的書籍,LibraryThing 就會產生一份不建議的閱讀清單。從技術上的角度來看,這是 scoring method 的應用變化而已,但是噱頭十足,很有意思。

beyond.Search寫的 个性化站点:LibraryThing.com 提供了這個站點的背景介紹,文章很值得一看,而 LibraryThing 自己對於 UnSuggester 的說明,則是這樣的:
Unsuggester takes "people who like this also like that" and turns it on its head. It analyzes the twenty million books LibraryThing members have recorded as owned or read, and comes back with books least likely to share a library with the book you suggest. The unsuggestions come from LibraryThing data, not from Amazon. LibraryThing also produces great suggestions.
想見識 Bad Suggestion 的真面目,未必要註冊,可以直接看看 the da vinci codethe long tail 這兩本書的例子。

Friday, November 2, 2007

I'm not in any mood to ...

最近學校裡有個專案發生重大變化,事態頗為棘手,影響甚為深廣,所以不得不暫時改變原本的工作和讀書計畫,挺身而出,作個半自願的「救火隊」。事出突然,驟然冒出來的瑣事多又雜,雖然不至於應付無方,但是著實影響作息和心情。

現在的心情可以用一句話來概括 ─ I'm not in any mood to ... (動詞隨便填)...

原本寫作的計畫也隨之停擺,怎麼也靜不下心來,把已經寫了一半的稿子補完。推薦系統的未來研究方向,就擱在草稿匣裡個把禮拜,怎麼也寫不完。我想,既然無心,索性擺久一點,等事態平靜點,心情平和點再說吧。

開始寫部落格之後,總覺得生活好像被一條無形的線繫著,有股莫名的力量拉著自己去作「某些」事情,對於所謂的更新,似虧欠又似不甘,委實難言得很。當生活失去原本的平衡,往另外一個平衡過渡(就像此刻的處境),這種感覺格外的強烈。

或許,今天在 AltSearchEngines 看到的 Blogging is a girl's best friend ,可以為這種心態作個註腳,但是我更中意 Isabella Bannerman 的這幅


Wednesday, October 31, 2007

Linux dates backs to 1911 ?

Google Blogoscoped 介紹,有人在 Reddit 上說, Google Experimental Search 的 timeline view (關於 timeline view ,請參考筆者先前寫的介紹1,2) 顯示 Linux 的最早日期是1911年,並且附上一張圖,表示「有圖有真相」。



Blogoscoped 解釋這個現象的原因是,Google 錯誤解讀核心版本號碼 ─ 2.6.11 ─ 的意義。不過,顯然 Google 已經作了修正,現在搜尋結果顯示的最早日期是 1984 年了。總之,實驗仍未成功,同志仍須努力....

Monday, October 22, 2007

天真的渴望

最近,不知怎地,又重新拾起少年時瘋狂的閱讀熱情,少了年輕時的虛榮和青澀,不必再為自己的好惡口味而羞赧、遲疑,也不需要把國族、社稷放在案頭,想讀什麼就讀什麼,捧著書本覺得比起從前淋漓痛快得多。

讀著讀著,常常發現相同的書頁、作者,常能讓自己有不同的想法,想明白以前並不明白的事理,更快樂的是,發現自己的心還沒有枯寂。

席慕蓉在爾雅出的 2006 年日記書裡有這麼一段:

2006席慕蓉 (足本)的圖像六月二十九日(星期四,晴.熱)
.......
.......

我其實是太貪求。但是,在我身邊,多的是這樣的朋友。

譬如 H,一位權威又資深的地質學家,前兩年,很高興的告訴我,他正在學畫,畫素描。譬如 D,一位比較文學的教授,卻出了一本關於刀劍收藏的書。還有人,五十歲了,想去學唱歌....

我們也許都是多有貪求。可是這會不是因為,我們對這個世界還充滿了好奇與熱情?

會不是因為,在我們心中還擁有一些天真的渴望一些如蔓草紋如纏枝花紋般的始終不曾消失的對「美」的夢想?
我最新的願望,是學煮咖啡,你(妳)呢...

Saturday, October 20, 2007

Java versus AJAX

Alex Iskold 一直是我很欣賞的 blogger writer ,他定期在重量級部落格 ─ 以網路技術新聞與評論著名的 Read/Write Web 發表文章,每篇文章都言之有物,令人印象深刻。

我個人認為他出色的地方不僅在於技術背景深厚,文字流暢,文章內容的求證功夫作得紮實,更重要的是他有想法。不管讀者對於這個想法是否贊同,他的文字常能促成高水準的讀者對話,看他的文章,不能漏掉讀者回應,那會少掉很多樂趣

Alex 最近一篇談 Java 歷史回顧的文章,便是如此。在 Java: A Retrospect 這篇文章裡,從 James Gosling 帶著他的團隊( Sun 的文件稱他們叫 The secrete "Green Team" led by James Gosling)設計 Java 談起,以時間先後為經,以資訊界巨頭 IBM、SUN、Microsoft 之間的互動為緯,將這個語言的發展經過交代的清楚明白,將今日 Java 在資訊巨頭們政治角鬥中所型塑的地位也闡述的要言不繁。

作者 Alex 非常欣賞 Java 的優點 ─ 簡單、可攜( Simplicity and Portability),對於 Java 在開發工具地位爭奪戰中,失掉瀏覽器和桌面環境(參見副標題 Java loses the desktop and browser)的地盤,將 AJAXJ 的位置拱手讓給 Java Script 相當惋惜,用了不少文字表達他認為 Java 是更好的語言的看法。

做過開發工作的人都知道,有時在工程師之間,程式語言的優劣之爭,可以上升到宗教聖戰的層次。所幸這篇文章的回應讀者,都是以理服人的理智型讀者(一笑)。從回應中看來,的確有不少人認為, Java 自有其 lousy 之處,不是作者所認為的那麼 elegant 。但是不管站在 Java 這邊或是 Java Script 那邊,大部分的發言都言之成理,自成一家之言,兼具理性與知性,很是難得。

Java 進入資訊界舞台中心時,個人已經不再擔任開發工作,重心已經轉移到行政和其他方面,對於這個議題,沒有切身經驗,無從發表任何看法。不過,個人誠心的認為,這樣的文章,看起來很舒服

因為已經不再擔任開發工作,所以對於 Ajax 陣營所知也不多,印象中只記得與 Ajax 技術有密切關係的 Adam Bosworth,今年(2007)一月在紐約發表一場演講,其中談到他認為 Ajax 為什麼剛開始不受開發人員青睞,最近卻變成市場寵兒的原因。eWeek 在演講後,作了很不錯的報導。簡單的說,他認為 1997 年的網路環境和個人電腦的運算能力,無法負荷 Ajax 的需求;用言情小說的筆法來形容這件事,就是對的技術錯誤的時間使用者相遇

(補充說明:Adam Bosworth 原本是微軟負責開發 XML 技術的部門主管,後來擔任 BEA 工程部門副總裁,離開 BEA 之後,在Google 擔任產品部門的副總裁(VP), 這陣子眾所矚目的 Google Health ,就是由他領軍。今年中,他離開 Google ,據說在籌備一間新公司。)

不過,也有人直接了當的說,Adam Bosworth 的理由太表面,千言萬語不如一句,真正的問題是那個年代的 IE 太爛。我想有很多人會喜歡這種說法,聽起來過癮極了。

原本只是想為書籤加個註解,心思越飄越遠,就拉拉雜雜又成了一篇,感覺有點奇怪(一笑)。

延伸閱讀:

Friday, October 19, 2007

[Updated] 版本 2.0 升級報告

Web 2.0 的歷史定位未卜,已經有人吵著要為 Web 3.0定義,雖然 Web 2.0 的旗手 Tim O'Reilly 對於討論 3.0 的舉動深深不以為然,對於這些雜音認真的人也不是太多。這倒提醒我,我們周遭到底有多少東西已經升級到版本 2.0,哪些東西還沒有升級

用 Google 作了一點功課,找了些已經「升級」的例子,這個名單上的成員,應該會持續增加,版本號碼也會一直成長,到自然數用完為止(grin)。以下的例子,只是拋磚引玉,如果有讀者願意幫忙豐富這個名單的內容,那就再好不過了。

(只是好玩罷了,沒有特別目的,只是覺得連著幾天寫了好多很硬的東西,try to have some fun 而已)
  • Release 2.0
早在前 Web 2.0 (Pre-Web 2.0)的年代, Esther Dyson 就已經出版了談網路時代對這個影響的 Release 2.0版本 2.0) ,後來她又寫了一本書,將版本升級到 2.1 。書名雖領一時風騷,不過這兩本書的出版日期,都在 Web 2.0 進入聚光燈下之前。

  • Everything 2.0
這個比較狠,有人把部落格的招牌叫作 Everything 2.0 ,有圖有真相,請看:


  • Life 2.0
打著「Life 2.0 」或「新生活」招牌的網站很多,值得一提的是兩本以 Life 2.0 為題的新書,一中一英,東西相互輝映。一本是 Rich Karlgaard 寫的,書名叫做 Life 2.0 : How People Across America Are Transforming Their Lives by Finding the Where of Their Happiness ,另外一本則是王文華的『Life 2.0——我的樂活人生』。
  • Literature 2.0
網路上的確找得到「文學 2.0」,有一個叫 RadioOpenSource 的網站,這個網站把每個禮拜在無電線台(Radio Station)的節目錄音放在網站上(說白了,就是 Podcast 啦),2005年他們作了一個談網路時代的閱讀習慣的專題,叫做 Literature 2.0 ,可以下載 MP3,節目很長,有 52分鐘。
  • Business 2.0
2007 年 9 月 5 日,與紐約時報隸屬同個集團(Time Inc.)的 Business 2.0 雜誌,正式宣告停刊
  • Boss 2.0
的確有 Boss 2.0 ,但是這個老闆是指 Bharat Operating System Solution ,2007年9月14日, Boss 2.0 正式發行。。
  • Enterprise 2.0
企業 2.0” 是由 CMP 媒體集團支持的研討會(conference),目標是企業經營部門和 IT 部門的主管,今年的會議已經在六月份舉行過了,想參加的人明年請早。 What is Enterprise 2.0 的介紹將這十年來,所有暢銷企管書籍的「主題」字眼全部收羅在文章裡,舉凡扁平化、授權、分散式、由下至上、彈性、靈活、開放、透明、全球化等等,you name it。
  • Manager 2.0
企業升級,經理人當然也要提升,否則就沒捧不住飯碗了。所以在企業 2.0 研討會,當然要有 Manager 2.0 的講座。
  • Mobile 2.0
就在今天( October 15, 2007),舊金山有一場談行動商機的 Mobile 2.0 研討會,Read/Write Web 特別撰文介紹。
  • Office 2.0
辦公室 2.0 談的是線上生產力和協同作業,今年(2007年)九月出初在舊金山舉辦的研討會,廣告網頁寫的很誘人,參加者可以得到 iPhone 和 PS3 耶 - Please register before August 31st in order to benefit from the online rate. All attendees get an iPhone or a PlayStation 3
  • Education 2.0
教育 2.0 的定義比較分歧,有人說是下一波教育軟體的革命,Wired 雜誌的編輯們談這個話題有黑色笑話的味道,他們說教育2.0是檔案交換的指引(台灣各大專院校計算機中心一定也贊同這個定義)。

不過, Wired 還是有比較正經的東西,在發表檔案交換指引的同個月份(2007年8月),他們作了一個 Education 2.0 的一週專題,很正式的談了社群網路、線上教育、學生的新奇裝備等等和未來教育有關的議題,檔案交換只是其中一篇文章而已。

Tim O'Reilly 也針對教育,發表了自己的看法;華盛頓郵報在今年愚人節(April 1, 2007),發表了一篇 介紹教育 2.0 的文章,不知道是不是認真的。如果不喜歡文字版本的解釋,SlideShare 上面,可以找到 Education 2.0 的簡報
  • Classroom 2.0
教育升級,教室也不能落後,我所知的教室2.0是一個建在 ning.com 上的社群,還有一個以教室2.0為主題的部落格
  • Library 2.0
人氣部落格 「Library View 圖書館觀點」持續對於 Library 2.0這裡也有不錯的資訊)議題作深度追蹤,有很精彩的資訊和討論,有興趣的讀者,請移駕(誠心推薦)。
  • Media 2.0
C|Net 旗下的 News.com 有一個 Media 2.0 專區,在這個分類下的子題涵蓋很廣,從政治、廣告、數位媒體到娛樂產業,無所不包,資料很多,我就不一一羅列了。
  • Portal 2.0
2006 年,PC Home 不成功(可以直接嗎?)的嘗試,可惱的是,他們把 Friend 2.0、Photo 2.0、Search 2.0、 News 2.0 和 Page 2.0 ,一口氣都給升級了。
  • Whatever 2.0
還有 Politics 2.0Advertising 2.0 、 you name it 2.0 等等,實在是眼酸、脖酸、手酸,難以為繼,得閒了再補充吧...

Monday, October 15, 2007

下午茶

下午茶為了犒賞自己通過資格考,也為了慰勞家裡老小前兩個月的犧牲與配合,所以決定全家一起去享受一次五星級的下午茶。時序入秋,穿著單衣已經略顯寒意,坐在室外,正好少了夏日的燥熱,又不必擔心好動的孩子,在安靜的廳裡止不住的燥動。而且,坐在面對著噴水池的廊下,愜意的很,很是難得。

此處提供的是英式下午茶,每份下午茶提供兩份茶水與一份點心塔。據說,英式下午茶源自 1840 年一位英國貴族夫人─ 安娜瑪麗亞(Anna, Duchess of Bedford),她有感於從午宴到晚間八、九點的晚餐間隔時間太長,所以在午後四點,囑咐僕人準備茶點,在起居室從容的享受。她邀請貴族朋友,一同享用午後點心,自此下午茶遂成風潮。

據說(其實是網路上說),吃下午茶有一定的規矩,點心塔有三層,必須由下往上取用,不得錯亂,馬虎不得。最下的第一層,是作得小巧的三明治,大約是果腹、墊底之意;第二層則是傳統的英式點心 scone ,配著果醬或奶油享用;第三層則是蛋糕或水果塔之類的甜點。在我猜想,這個規矩,應該是由鹹至甜,有其一定的道理,不過要求不得錯亂,就稍嫌囉唆,無甚必要了。

此處的點心塔,完全按照規矩安排,次序與點心內容絲毫不差,點心口味尚可,茶的等級也還算講究,喝茶的心情不壞。

不過,當我口述所聽聞的下午茶規矩給家裡老小聽,以資談助時,家裡地位最高的小公主,絲毫不領會故事中的禮樂教化之意,直接從最上層攫了一塊蛋糕,揚長而去。

Friday, October 12, 2007

推薦系統與長尾

我們已經談過推薦系統的架構技術分類,接著我們來觀察推薦系統的目標和成果,是否如研究者或經營者所預期的那麼美好。推薦系統的研究在學界雖然不是紅得發紫,但是一直受到相當程度的關注, Netflix Prize 的話題一開,更受人注目。在如何建構一個「更好的」推薦系統這個題目上,過去產、學二界攜手的成果,是有目共睹的。

但是我們對於推薦系對銷售究竟有什麼影響,它是如何影響消費者的行為,是否真的達到原先建設推薦系統的目的,則是所知甚少,沒有足夠多的研究可以證實我們的觀點(不管這個觀點的內容是什麼)。

第一種觀點:推薦系統促成長尾

過去對於推薦系統成效,有兩種截然不同的看法,第一種觀點,可能也是目前較佔上風的觀點,認為推薦系統強化了長尾(Long Tail)的實現,讓銷售方和購買方都得到更多選擇與便利。比如說 The Long Tail 的作者,就直接了當在書中宣稱我們從資訊時代進入「推薦」時代─We are leaving the Information Age and entering the Recommendation Age(讀者可參考「長尾」在英國出版宣傳時作的 Exclusive Extract ,請看第 24 頁)。

這兒有一個學院派的例子,MIT Sloan Management Review 在2006年夏天出版了一篇由三位名校(MIT/Purdue/Carnegie Mellon)教授共同執筆的 From Niches to Riches: The Anatomy of the Long Tail (下載PDF)。在這篇文章裡,作者們肯定地說:
Our research suggests that search tools can also be very effective in allowing consumers to discover and purchase products they otherwise would not have considered, resulting in changes in sales distribution among a company's products.
作者群在另外一份論文(Goodbye Pareto Principle, Hello Long Tail: The Effect of Search Costs on the Concentration of Product Sales)裡表示,在他們的研究裡,經由網際網路通路購買產品的消費者,傾向於購買不暢銷或不是很有名的產品(他們用 obscure 這個字眼)。換句話說,作者認為:IT 科技(當然包括了推薦系統)促成了長尾的實現
We find evidence that Internet purchases made by consumers with prior experience are more skewed toward obscure products, compared with consumers who have no such experience.
第二種觀點:推薦系統錦上添花,結果是強者愈強

另外一種看法則和前一種觀點大相逕庭,第二種看法則認為推薦機制(和目前常見的各種行銷手段)只是強化原先銷售成績就出色的前段班產品,對於銷售多元化(diversity)一點幫助也沒有。我們來看個國內的例子:

十月初,老貓學出版發表的「好書會自動販賣時代」之消逝一文,談到網路時代的行銷活動與長尾(Long Tail)的關係,顯然老貓認為網路不僅沒有促成長尾,反而讓強者愈強,銷售的模式的錦上添花而不是百花齊放(先說聲抱歉,引文有點長,粗體字和紅字是我加上去的,與原文無關)。.....
.....
新書區的替換率太快,促使出版社和書店必須做點什麼,以便幫助讀者過濾新書。推薦機制、特價、預購、首賣、獨家封面、落地陳列、贈品、活動、試讀本,所有異於正常發行的動作,都有助於爭取讀者的眼球,讓讀者在茫茫書海中先一步辨認出我的書來。
.....
過去我們以為網路世界可以為我們帶來可貴的長尾,現在事實證明,網路加速了短頭的極端化好賣的書,賣得比過去更好,而沒有行銷資源挹注的書種,賣得比過去更差。(如果有人在博客來上班的話,請別誤會,我的描述並不帶評價,事實上我也不認為虛擬通路無差別地秀出每月兩千種新書的書單會有什麼好處。此外今天這個這個結果也是出版社和通路攜手製造出來的。
最新的研究

線上推薦系統(online recommenders)比起傳統的暢銷排行榜(best-seller lists),的確是一大進步,對於銷售方和消費者都帶來非常大的便利和福祉,這是無庸置疑的。但是推薦系統是不是真的能帶來銷售的多元化 (diversity),目前並沒有足夠多的研究和討論來支持任何一方的論點。

最近兩位賓州大學華頓商學院的學者(Daniel M. Fleder and Kartik Kosenagar)針對上文所描述的爭論,發表了相關的研究,兩位作者認為這篇論文是第一個嘗試調和不同論點的研究,論文有兩個版本可以下載,個人認為華頓的線上刊物 Knowledge@Wharton 對於這個研究的介紹 ─ 'Reinforcing the Blockbuster Nature of Media': The Impact of Online Recommenders 最具參考價值,文章精簡,說明不失深度,而且可以下載 Podcast 慢慢聽。Read/Write Web 對這篇論文的報導,也值得一讀,這篇報導的讀者回應相當精采,如果時間允許,也不妨看看(Yes, I know. 人一天只有24小時)。

Reinforcing the Blockuster Nature 的標題,我們可以想見,這個研究認為,推薦系統的確會讓原本的暢銷產品銷售益發興旺,不是豪無保留的認為推薦系統與長尾應該劃上等號的。這篇論文的焦點,是推薦系統與銷售多元發散(diversity才能促成長尾)間的關係,主要觀點如下:
  • 有些推薦系統,的確會產生 rich-get-richer 的現象,使得銷售品項和數量集中,而非多元發展。
  • 作者強調縱然個別消費者可能透過推薦系統發掘他們原本不熟悉的產品,但是所有消費者加總(aggregate)的結果,是降低而非增加銷售的多方發展。I
  • 推薦系統的設計會影響結果,有些推薦系統會造成長尾效果,有些則會得到相反結果,所以公司的經理人應該考慮自身需求來決定設計的方向。
不同的聲音

推薦系統研究的開路先鋒 Paul Resnick 教授, 在部落格評論上面所提到的研究時,認為 discovery 和 reinforcement 是推薦系統最重要的兩個目的。
There are actually two effects that we should expect from recommenders. One is discovery-- once one person discovers an item, some other people with similar tastes who would not have found that item do find it. The other is reinforcement-- an item that many people have sampled will be more likely to get recommended.
華頓的學者在寫作論文時,和著名的部落客(博客)Greg Linden ─ 他在1997-2002 間是 Amazon 員工,負責開發推薦系統 ─ 以電子郵件交換意見。Greg 認為,如果沒有線上推薦系統,消費者只能使用更粗糙的、傳統模式的暢銷排行榜名單來尋找產品,這種情況更加降低銷售的多元化,不可能促成長尾。同時他還表達,推薦系統可藉著調整演算法達到長尾的目的 ─ Recommendation algorithms easily can be tuned to favor the back catalog -- the long tail -- as Netflix does.

這還不是結論

Daniel M. Fleder and Kartik Kosenagar 在文中建構的簡單(two-item, two-player, two-urn model )模型,是否真的足以完整、正確的模擬消費者行為,還是個開放命題。所以這個方向的研究,絕對不是劃上句點,而是才剛開始而已。

從台灣的觀點來看,本地的網際網路產業,還沒有出現一個品質和 Amazon 、Netflix 比肩的推薦系統,若是真的要討論推薦系統對消費行為的影響,恐怕產生不了足夠堅實的論證,要談本土觀點,恐怕還嫌早了點(sigh)。

延伸閱讀:

Tags:


Monday, October 8, 2007

把 Google Experimental Search 變成預設的搜尋首頁

兩個月前,筆者曾經撰文介紹 Google 推出的 Experimental Search ,在這個實驗性質的網站, Google 推出了增進搜尋體驗(search experience)的四項實驗功能:
  • Alternative view for search result
  • Keyboard shortcut
  • Left-hand search navigation
  • Right-hand contextual search navigation

筆者在創新和研發不會停止一文中特別介紹了 Alternative view 中的 map view 和 timeline view,許多老朋友對於這個發展特別感興趣,最近 Google Experimental 又有值得關注的新變化。

首先,Alternative views for search result 增加一個新的展現方式 - info view ,在輸入搜尋關鍵字組後,接著輸入 view:info ,搜尋結果除了以傳統的條列方式展現外,螢幕右方會出現如下的文字方塊。

使用者可以選擇想要聚焦的項目,例如地點(map)、日期(timeline)、影像(image)等等,當使用者選擇想要特別關注的項目之後,左方的搜尋結果會配合所選的項目,在每一個輸出 URL 的下方,顯示文字或圖片會作相應的變化。

下圖即是查詢 Olympic view:info - show Images 的結果:

其次,Google Experimental Search 邀請用戶加入網站的實驗計畫,加入實驗計畫的方法很簡單,先拜訪 Experimental Search 網站,然後在想要加入實驗項目上點選 Join Experience 即可。加入實驗後, http://www.google.com/experimental/ 就取代原來的 Google 首頁,變成用戶進入 Google 的門戶了(我猜紀錄應該是存在瀏覽器的 cookies 裡)。

推薦系統的分類 (Obsolete)

在檢視 FeedBurner 的點閱資料之後,發現本文是去年被點閱次數最多的文章。但是重新審視這篇文章,發現有許多含混不清,甚至有些文字可能會產生誤導,不禁大為赧然,冷汗直流。趁著08年開春,重新改寫這篇文章,希望能讓推薦系統的輪廓更清楚具體,更易於理解,也少一些錯誤。

請閱讀這篇文章的修正版本(Please Click Me),造成您的不便,請見諒。

(為了方便讀者,以下是修正後的內容 - 2008/01/07)

Netflix Prize 滿週年了這篇文章裡我介紹了一個數學模型,以量化(消費者以數字表達喜好商品的程度)消費者行為的切入角度,描述推薦系統的運作機制。

雖然以數學模型來定義(或者說描述)研究對象的特性與運作方式,是許多學者很喜歡用的手法,但是這樣的方式對於一般的讀者而言,畢竟缺少了點人味兒。接下來,我們試著理清「推薦系統是怎麼運作的」、「究竟有多少種推薦系統」,讓推薦系統這個東西更具體一點,更有人味一點。

所以,本文我要談談推薦系統的分類(Taxonomy)。

消費者的角度:Personalization, Social, Item, Hybrid....

ReadWrite/Web 的專欄作者Alex Iksold 在07年初發表的 The Art, Science and Business of Recommendation Enginesn Engines 裡,以消費者使用服務的觀察角度,將推薦系統分為四類:個人化推薦同儕式推薦產品導向推薦以及綜合前述三種技術的綜合推薦。這種分類方式,和學術界以使用資料的方式為切入角度的分類法,有令人驚訝的對應關係。
The main approaches fall into the following categories:
  • Personalized recommendation - recommend things based on the individual's past behavior
  • Social recommendation - recommend things based on the past behavior of similar users
  • Item recommendation - recommend things based on the thing itself
  • A combination of the three approaches above

這篇文章有簡體中譯版,有興趣的讀者,可以到譯言去找這篇文章來看,文章的標題是「网站推荐机制中的艺术、科学与商务问题」。Beyond Search 也有關於這篇文章的精彩說明,建議大家也可以看看 Beyond Search 的文章(可惜這個部落格好一陣子沒有新作了)。

學術界的分類

每種分類方式,都有各自的思考邏輯與侷限,也都可能有模糊和不能明確區分的盲點,不同的分類方式之間,也未必有清楚明確的對應關係,這是這無礙於我們對事物本質的理解,重點在於弄清楚分類的思考邏輯與切入方式。

在這裡,我們用一種直覺的方式,以研究者切入推薦系統研究的歷史進程,來看推薦系統的分類與演化,個人覺得是個不錯的閱讀策略。

當研究者和企業經營者開始進行推薦系統的開發研究時,首先看手上有多少資源可以使用,所以先嘗試從消費者的個人資料和過去的消費紀錄,推估消費者對於不同產品的反應,做出推薦系統的先驅產品。

這種方式,過去的學者叫做 Content-based approach 推薦策略, Alex 將之稱呼為個人化推薦。因為是以消費者個人的資料作為推理基礎,稱做個人化推薦並無不當,不過相較於今日用戶在網路上能見到的各式花俏的個人化服務,此處所謂的個人化,可能會讓用戶有點失望,略嫌陽春了點(grin)。


(典型的 content-based recommendation - Amazon.com has new recommendations for you based on items you purchased or told us you own. )

Content-based 策略優點是直覺、易於理解,但是缺點也很明顯。因為這種策略用白話來說,就是蒐集一大堆關鍵字(關鍵字當然越多越好),然後以資料挖掘(Data Mining)技術在關鍵字中間找出關係(大家是不是嗅到一點關聯法則的味道了?)。

有時候,有些與消費者有關的敏感資料,是很難蒐集到的,尤其在日益重視消費者隱私的今日,這是一個很麻煩的議題。其次,以這種策略建立的系統在遇到新會員、新產品項目時,就無所適從了,道理很簡單,沒有見過的關鍵字,系統不可能知道怎麼辦的(有人叫這種狀況 cold start)。

所以研究人員嘗試將視野放到所有會員、產品的資料庫,彙總眾人的消費習慣,得到預估的數學模型,作為推薦系統的基礎,這樣的策略,被研究者稱為 Collaborative filtering(簡稱 CF) ,因為是運用眾人的消費習慣做推理基礎,不是用個人(individual)的資料作為推薦引擎的燃料,所以用 collaborative 這個字眼。

不過 CF 的設計策略,又有兩種不同的切入角度,第一種是分析整體用戶資料,用各種計算方式找出計算不同消費者「背景」、「品味」、「行為」是否相似的數學模型,針對特定消費者,我們找出與之「相似的消費者」,使用這些背景「相似度」的用戶的行為,來預測特定消費者面對不同產品的喜好。過去研究者稱呼這種作法是 User based CF,這就是 Alex 所稱的 Social Recommendation 。

有一點要特別提醒諸君,此 social 和現在甚囂塵上的 social network 不一樣,千萬不要誤會了。我們到目前為止,所討論的推薦機制,基礎是量化後的銷售資料和消費者背景資料,不是基於交談、互動等等真正意義上的社群行為。雖然因為 Digg 和 Del.icio.us 服務的崛起,讓 Social Filtering 這個研究課題也走進舞台,步入聚光燈下,但是目前的研究成果,與 CF 領域的成熟度還是不能相比的。

(上圖左方是 Anobii 的例子,以產品特性去找出類似產品,典型的 Item-Based Approach ,右邊則是典型的 User-Based Approach , 這個作法的典型呈現就像這個範例 - 其他購買 XXX 產品的顧客,都買了 YYY,所以我們向您推薦 YYY)

CF 的第二種策略,和第一種很相似,只是轉個角度,從產品的相似度切入,這就是 Alex所稱呼的 Item recommendation,學者則稱呼這種方式叫做 Item-based CF。著名的 Amazon.com ,就自行開發了 Item-to-Item 模式的演算法(請參考拙作[1,2]的介紹),作為其推薦系統的核心構成元件之一。這是目前在業界很受歡迎的策略,因為使用者的資料可能很難取得,但是產品販賣者應該擁有完整而詳細(這是我們對賣方的基本假設,如果賣東西的人,手邊沒有足夠好的產品資料,那就沒戲了)的產品資料,所以用 item-based 策略分析交易(transaction)資料和產品規格資料,可以玩出不少花樣。這是 Amazon 的選擇,也是得到 2007 年 Netflix Prize 年度獎金BellKor 團隊的選擇。

如上圖所示,CF 的兩個策略,分別從用戶和產品兩個角度切入

不論是以消費者個人歷史資料為計算基礎,或者以眾人的口味來推斷個人的喜好,都有其侷限,所以不論是學界還是產業界,都嘗試將以上的技術結合在一起,這就是 Alex Iksold 所說的 Combination of three approaches above,學界一般稱呼這種作法為 hybrid approach。我們在 Alex 的文章裡可以看到,Amazon 既運用了 Personalization (content-based)的技術,也使用了 Items Recommendation ( Item-based collaborative filtering),這就是一個典型的綜合(hybrid)式推薦系統。

以上的脈絡其實很清楚,從消費者個人的資料入手,發現不足後,然後開發運用所有消費者資料的方法,繼而整合之前所開發的技術,這就是所謂的綜合(hybrid)策略。 Alex Iksold 的說明,用一般(非技術背景)讀者更易理解的文字,說明推薦系統的運作和分類,將這個思考脈絡,作了更佳的包裝。

如我在上文的說明,分類方式並不是唯一的, Beyond Search 的作者,以演算法的角度,作了更細的分類。2007年五月/六月份的 IEEE Intelligent Systems 雜誌,Guest Editor 做的導言,和另外一篇文章 Comparing Recommendation Strategies in a Commercial Context ,也有不同的分類陳述,精神大致相同,但是都有微小差異。總之,掌握自己的理解脈絡是最重要的。

演算法有多重要

不管如何分類,我們知道演算法(Algorithm)是推薦系統的核心,但是演算法如何能保證推薦系統的成功?

Collaborative Filtering 的模型裡,最困難的是相似度(Similarity Measure)的計算,能夠精確有效的計算產品間或消費者之間的相似程度,才能保障接下來的預測和推理是有效的。眾多學者為了克服這個挑戰,應用來自不同領域的數學背景知識,開發出許多相似度函數模型。但是有了這些精緻而複雜的數學公式,是否就能建設一個有效的推薦系統。

相似度的計算,其基礎不僅在於數學功力的精深,因為數學模型的目的是用建構出來的數字「逼近」現實發生的狀況,必然有其不足和限制。真正影響這個函數表現的,還是在於「事實」的根據 ─ 原始資料庫的品質。因此,有幾個關鍵問題是我們所必須關心的,比如說:
  • 資料庫的資料是如何收集的?
  • 資料的深度和廣度如何?
  • 內容的正確性和時效性如何評估?如何保障?
  • 每個欄位的意義為何?
  • 是否有人能精確解讀為何這些欄位能描述消費者(或是產品)的特性?
  • 很多產品有不同的包裝版本,甚至同樣的版本,也可能在資料庫裡有兩筆以上資料(想像一下書籍的普及版、精裝本、典藏版, etc),我們如何知道這些都是同一個產品?(這在業界叫做 item authority)
  • 為什麼我們要關心這些或那些欄位?
  • 那些資料欄位對我們沒有意義,不需關注?
所以,要建設一個成功的推薦系統,最重要的前提,是確定我們有一個有效的、有意義的資料庫,還要有一個(或一組)真正懂得產業 know-how 和資料庫技術的專家,才能正確、有效的運用我們已知的演算法,將之效用發揮到最大。而這一點,恰是許多產業界專案失敗的真正原因?

Google 的研發部門主管(Director, R&D),也是人工智慧領域的大師級學者 ─ Peter Norvig ,有回演講提到這個議題,他的看法是 Worry about the data before you worry about the algorithm

Rather than argue about whether this algorithm is better than that algorithm, all you have to do is get ten times more training data. A..........

Worry about the data first before you worry about the algorithm.
請容許我如此解讀,優秀的演算法,需要大量資料(大陸那邊習慣說海量數據)來澆灌,離開真實世界的演算法,終究如鏡花水月,作不得真所以成功的推薦系統,成功的基礎是充足、有效的資料,和真正懂得產業門道的分析師

Saturday, October 6, 2007

美國觀點的 25/25

今日美國(USA Today)是行銷全美國的全國性報紙媒體,她的特色是主攻大眾口味,排版重視視覺效果。他的網站,與報紙的定位相同,配色活潑(與以菁英口味自詡的紐約時報相比),視覺效果鮮明。

為了慶祝報紙的25歲生日(September 15, 2007), USA Today 網站花了好幾個月做了一個慶祝專題 - A Quarter-Century of Changes",從25年來的新聞事件中,選出 25年來對美國人的生活影響最大的人、事、歌曲、電視節目、演說、電視節目等。為了配合 25 週年這個數字,所以努力湊齊 25 個對美國人生活影響重大的項目,每個項目又挑出 25 則相關的新聞,所以總共是 625 條新聞 (不過有些人物、事件是重複的)。

雖然很多人對於「美國即世界」的觀點非常不滿,但是台灣深受美國通俗文化的影響確是無可辯駁的事實。 USA Today 選出的這些重大事件,固然是原汁原味的美國觀點,但是對於處在台灣的我們,也絕對不陌生。讀者諸君不妨在暇時上網把玩一番, USA Today 歡迎對於選材有不同意見的人,上網回應,不過實際留言的人倒並不是很多。

若想看這個專題報導的內容,由 25 Trends That Changed America 開始瀏覽,螢幕上方是用 Flash 製作的導航欄(Navigation Bar),用這個導航欄挑選感興趣的項目,就可在 25 個題目中切換。

下面是 25 個項目的標題:
  • 25 Trends That Changed America(這是本系列的開篇之作,USA Today 的編輯挑選了 25 個改變美國 ─ 其實他們的意思是改變世界─ 的趨勢,不管你同不同意他們的價值觀,至少這是他們的觀點
  • 25 Most Memorable Quotes你心目中的首選是 "Mr. Gorbachev, tear down this wall!" 還是 "I did not have sexual relations with that woman, Miss Lewinsky." ?
  • 25 Most Memorable Books 不要懷疑,榜首就是 Harry Potter
  • 25 Stocks You should have bought
  • 25 NFL draft moment
  • 25 Things That Changed the Desktop 這個項目的子標題是 How the Internet took over,所以 the winners go to WWW, E-Mail, GUI, AOL, Broadband, Google, Netscape, eBay, Amazon, Wi-Fi, Instant Messageing, Yahoo!, Compuserve, .... 看到沒, Yahoo! 還落在 Wi-Fi 後面哪
  • 25 Biggest Public Meltdowns
  • 25 Top TV Moments
  • 25 Years of "Eureka" Moments
  • 25 Lives of Indelibli Impact
  • 25 The Long Goodbye( Time has changed. 韶光易逝,有哪些曾經的老朋友要永遠和我們告別呢?
  • 25 Greatest Sports Stories of the Last 25 Years第一名是紅襪隊贏得 2004 世界大賽冠軍,你猜對了嗎?
  • 25 Top Musical Milestones
  • 25 Cars That Made Difference
  • 25 Movies with Real Impact
  • 25 Biggest Sports Scandals
  • 25 Medical Moments
  • 25 Ads we Can't Get Out of Our Heads
  • 25 Most Influential Business Leaders 這個名單裡第一名是 Bill Gates
  • 25 Most memorable Olympic moments 在美國人眼裡,最重要的奧林匹克時刻,當然是1984年 Maty Lou Retton 以十六歲之齡,成為第一個贏得奧運體操金牌的美國人;Carl Lewis 在1984年獲得四面金牌,在這份名單裡,只能排第七。)
  • 25 Notable quotables(黛安納 說 "There were three of us in this marriage, so it was a bit crowded."
  • 25 Scientific breakthroughs
  • 25 Changes in the way we travel
  • 25 Most influential people又是 Bill Gates其他人你也一定要瞧瞧,看你認識多少人?
  • 25 Biggest news storiesUSA Today 編輯選出來的第一名是拆除柏林圍牆,第二名是 911 事件

如果我的心是一朵蓮花

~ 林徽因 · 馬雁散文集 · 蓮燈 ~ 馬雁 在她的散文《高貴一種,有詩為證》裡,提到「十多年前,還不知道林女士的八卦及成就前,在期刊上讀到別人引用的《蓮燈》」 覺得非常喜歡,比之卞之琳、徐志摩,別說是毫不遜色,簡直是勝出一籌。前面的韻腳和平仄的處理顯然高於戴...