EdgeRank
【干貨分享】Facebook NewsFeed是什么意思以及該算法(EdgeRank)的解析
運營實操 ? 孤舟一葉 發(fā)表了文章 ? 0 個評論 ? 26342 次瀏覽 ? 2017-12-14 14:33
NewsFeed 怎么來的
2004年,Facebook 問世,兩年后的9月份,NewsFeed 問世,同時問世的還有MiniFeed(個人動態(tài))。今年是 NewsFeed 上線十周年了,這10年里,Facebook 是怎么一步一步把 NewsFeed 打造成了日收入幾千萬美金的現金牛的?不管你對這充滿銅臭的問題感不感興趣,反正我很感興趣。
今天我們都已經習慣了把照片、文字等內容主動分享給好友,但是當時 Facebook 上線了這個功能時,引起了廣泛的爭議,焦點就是“隱私”問題,用戶認為我發(fā)的動態(tài)怎么能讓別人看見呢[1]?用戶一直不停質疑和抗議,又忍不住繼續(xù)使用,Facebook 就這樣在爭議聲中增加了最初的隱私控制,比如隱藏自己的動態(tài),而 NewsFeed 就這樣堅持了下來。看來,小扎真是一個撩妹高手,看穿了用戶們“嘴上說不要,身體卻誠實”的內在。
隨著用戶們漸漸地愛上了瀏覽好友的分(xuan)享(yao)了,2009年,Facebook 加上了贊(like)功能(FriendFeed 在2007年發(fā)明了贊按鈕,FriendFeed 后來于2009年被 Facebook 收購,并將贊這個功能整合進來),開始按照熱門程度對 Feed 重排序,不出意外,這又引起了用戶們的反抗,因為大家已經習慣按照時間順序閱讀。
伴隨這么多爭議,為什么 Facebook 一直堅持做興趣feed?從數據上看,平均每個用戶每天待看的新鮮事有1500條之多,但平均每個用戶每天只能閱讀300條;從商業(yè)角度,將 Feed 排序交給上帝的做法,非常不利于商業(yè)化且有損用戶體驗,公共主頁可以使用很多伎倆吸引用戶關注,然后肆無忌憚發(fā)廣告。
10年來,NewsFeed 有數不清的改進,甚至每天線上會同時部署很多算法版本進行AB測試。但 EdgeRank 是這條優(yōu)化迭代之路上的一個標志性建筑。我們可以將 NewsFeed 排序策略按照 EdgeRank 分為 PreEdgeRank 時代、InEdgeRank 時代、PostEdgeRank 時代。
EdgeRank 算法
EdgeRank,顧名思義,就是對邊(Edge)進行排序(Rank)。
每一個朋友的每一個操作(Action)都可能以新鮮事(News)的方式呈現在用戶面前,比如朋友發(fā)布了一條新鮮事,朋友贊了朋友的朋友一條新鮮事,朋友評論了朋友的朋友一條新鮮事,朋友給自己的照片加了一個標簽,等等。稍微用腳后跟想一想就知道,按照這樣羅列的話,每個用戶得看多少新鮮事?于是 FB 就想在一條動態(tài)呈現給一個用戶之前,先預估一下這個用戶對這條新鮮事感興趣程度。在 FB 的定義下,一個 Action 就是一個 Edge,所以這套量化興趣的算法就叫做 EdgeRank。
別看今天 Facebook 各種高大上,又是深度學習又是人工智能,要知道,在 EdgeRank 提出之前,FB 也是有過刀耕火種時代的,FB 的首席產品官 Chris Cox 談及早期 NewsFeed 是這樣說的:
“In the beginning, News Feed ranking was turning knobs. Turn up photos a little bit, turn down platform stories a little bit.”(最初,NewsFeed 排序就是在主觀拍腦袋,給照片加點權重,給平臺動態(tài)消息降點權重)
“a photo might be worth 5 points, while joining a group was worth 1 point” (把照片權重定為5,把加群權重定為1)
國內算法工程師們聽到這些,想必都要會心地笑了:原來 FB 也是從這個時代走過來的。但 Facebook 不同的是,這只是暫時的情形,他們已經走到更高級的階段了。
Serkan Piantino 在2010年左右領導并開發(fā)了第一版 EdgeRank 算法。下面說說大名鼎鼎的 EdgeRank 是怎么回事。
EdgeRank 主要有三個因素在起作用:
親密度(Affinity Score)
邊的權重(Edge Weight)
新鮮程度(Time Decay)
想象一條內容誕生后,途經什么路徑流動到你的面前?
首先經你的一個朋友(或者你的關注源)的之手產生了一條新鮮事(他發(fā)布、贊、加標簽這些產生了新鮮事);
然后經過你這個朋友(或者你的關注源)的介紹,到了你家門口,你一開門(登錄)就可能看見它;
內容不多時,開門一個一個寒暄可能還行,它們也等得起,也無所謂先來后到,內容太多時,就得考慮個先來后到了。
這三個步驟,就大致刻畫了 EdgeRank 的思想了,其實還是很簡單直接的。
親密度對應了第二個步驟背后的思想,那么多人介紹過來,我們當然要優(yōu)先照顧更“喜歡”的人了,親密度的量化要考慮平常里你和這個朋友“走動”是否頻繁,連接是否緊密。主要考慮下面幾點:
你們連接的強度,點贊之交,還是評論之交,或是私信之交,連接方式不同,強度就不同;
你們連接的頻繁程度,一日百贊,還是百日一贊,差別也很大;
你們有多久沒有建立連接了,一年沒有了,關系自然就更淡了;
親密度是單向的,也就是說你對朋友的親密度,和朋友對你的親密度可能不一樣哦。
你看,看似神秘的 EdgeRank 算法,其實跟大家不太待見的雞湯居然意思是一樣的,是不是覺得它竟然如此平易近人?
邊的權重也很直接,其實它反映了產生一條新鮮事的成本,成本越高的,權重越大。點贊、評論、發(fā)一條文字、發(fā)一張照片、發(fā)一個鏈接,背后用戶付出的成本不一樣,反應在邊的權重上也就不一樣。顯然,你點個贊的成本,和你發(fā)布一條新鮮事的成本差別很多。
最后,新鮮程度,也是一個符合直覺的自然假設:NewsFeed 總是青睞 New 一些的 Feed,新的新鮮事總體上更可能得到用戶的臨幸。FB 用了一個類似指數衰減的函數來量化動態(tài)的新舊程度。
三個分數,最終用相乘的方式共同作用于每一條新鮮事的分數,用于排序和篩選。
這個排序方法的確是很簡單,基本上只考慮了社交方面的因素,而沒有考慮太多內容本身對用戶吸引力。
從公開的資料看 EdgeRank,并不是什么高深的算法,它只是量化了三個主要因素,然后主觀地相乘,而沒有任何目標優(yōu)化思想在背后,根據 Facebook 披露的消息看,早期的 EdgeRank 的確沒有引入機器學習,所以根本稱不上是智能的算法。
為什么 EdgeRank 這么有名?因為它是在F8開發(fā)者大會上公開介紹過的,經過一知半解的媒體渲染,變成了一個神秘高深的存在。
后 EdgeRank 時代
2011年之后,Facebook 內部就不再提 EdgeRank 算法了,因為用戶數和廣告主的飛增,導致 NewsFeed 的排序算法必須要更上一層樓。如今月活躍超過10億用戶,約2000萬的公共主頁,移動設備貢獻了大多數流量,復雜的上下文因素,必須引入機器學習才能 Hold 住整個場面。
在原來 EdgeRank 的基礎上,更加細致地定義了不同層級的親密度。用深度神經網絡理解圖片內容和文字內容,從而可以知道相片中的物體是不是用戶感興趣的,可以知道新鮮事的討論話題。隨著產品迭代,也加入了更多產品特征,諸如閱讀時間長短、視頻內容、鏈接內容等,取關、隱藏一個源。前前后后一共考慮了10萬+的變量(模型的特征空間應該會更高),如果還按照原來的方式去調節(jié)權重,顯然既不科學又很低效。
從 Facebook 的機器學習應用博客頁面可以看到,2010年之后就開始逐漸有機器學習方面的文章出現了。
相關資料顯示,2011年之后的 NewsFeed 排序算法,全面轉向了機器學習,用優(yōu)化理論來決定每個因素的權重,將人從繁雜的策略量化中解放出來。
在被機器學習接管后的 NewsFeed,很多地方都更加細致。
用機器學習預估新鮮事的質量。通過構造了一份問卷調查,訪問了若干用戶來收集數據,用收集的數據構建了一個機器學習模型,用于 NewsFeed 排序時預測一條動態(tài)的質量,將預測的質量分數作為最終排序的一個特征。用樹模型構造離散特征,結合最常見的LR模型預估廣告點擊率。
除了全面轉向機器學習之外,NewsFeed 團隊也在重新思考人和算法的關系。他們要關心的是到底“如何把用戶真正最關心的找出來”,而不僅僅是“提高點擊率”。Facebook 一直是數據驅動的,也是他們能夠在爭議中把 NewsFeed 堅持下來的信念來源,而是不是唯數據馬首是瞻,團隊內部有很多思考,也有很多變化。
僅舉幾例:
團隊發(fā)現有85%的隱藏新鮮事操作來自5%的人,經過與這些用戶溝通才發(fā)現,原來這5%的人把“隱藏”當作郵件里的“標記已讀”了,對喜不喜歡的新鮮事只要看過就會點擊隱藏。
對于悲傷的事情,用戶可能關心但不會點贊的。
對于有些點贊,用戶可能并不是真的感興趣,只是“點贊狂魔”發(fā)狂而已。
用戶閱讀一篇長帖子,讀到一半不讀了,也并不能說明他對這篇帖子不感興趣。
這些 case,都讓他們開始關注到機器學習和數據的局限。
于是,在算法團隊之外,Facebook 搭建了一個遍布全球的人肉評測小組。人肉評測小組不是簡單地對算法篩選結果進行喜歡/不喜歡的標注,而是會非常深入地闡述為什么喜歡/不喜歡算法篩選結果,而且會與工程師詳細交流評測結果,因為這種人肉評測方式可以有效地拆穿數據說謊,讓產品遠離一味追求提高數據指標的怪圈。
除此之外,產品上還加強了過濾器功能(Filter):你可以選擇你的動態(tài)給誰看,你可以選擇不看誰的動態(tài)(Hide),你也可以選擇優(yōu)先看到誰的動態(tài)(See first),當然你可以取消關注一些人或者公共主頁,將這些控制權交給用戶,一方面安撫了用戶被算法接管的不安,另一方面也是一項重要的數據來源。事實上,如今的過濾器已經復雜到大多數用戶都不會使用這些控制權。
“如何衡量用戶真的感興趣”這個問題也許遠遠沒有最終答案,為什么?因為人的非理性占據了絕大多數時候,而“不一致性”又是非理性的最重要表現,根據心情不同,用戶有不同的感興趣的標準,而且這些標準也許還是相互矛盾的。
NewsFeed 的配套設施
NewsFeed 存在的前提是要依賴用戶建立大量的社交聯系,這樣才會出現信息過載,因此 NewsFeed 的一個重要的配套設施就是“你可能感興趣的人”(People you may like)推薦系統。
這是一個我們在產品形式上比較熟悉的推薦系統,它是一套大規(guī)模矩陣分解算法,利用已有的協同矩陣為你推薦你可能想建立聯系的新Item,包括用戶、app、公共主頁等。
NewsFeed 還有另一個配套設施,也是它為什么每天能吸金幾千萬刀的原因:廣告系統。Facebook 的廣告形態(tài)多樣:
Suggested Page (你可能喜歡的公眾頁)
Page Post (公眾號帖子推廣)
Suggested App (你可能喜歡的應用)
Video Ads (視頻廣告)
現在,每一次 NewsFeed 調整算法都會引來廣告主們的抗議,他們都是在 FB 上擁有公共主頁的商業(yè)機構。
在以前,FB 鼓勵這些商業(yè)機構花錢投廣告增加粉絲,彼時的 NewsFeed 算法允許隨意發(fā)廣告(以原生的新鮮事形式)。而現在,FB 嚴格限制商業(yè)廣告和普通用戶的觸達。商業(yè)機構感覺自己被耍了,花錢買粉之后卻不能發(fā)原生廣告,無獨有偶,根據微博 CEO(@來去之間)在微博上的披露,現在微博企業(yè)號也是被限制博文達到粉絲 feed 次數的。
據國外某專門做 NewsFeed 推廣的公司追蹤,1000個公共主頁的50000條內容以原生方式觸達用戶的比例,從2012年16%降低到了2014年的6.51%,降了一倍還多,這當然也可能因為用戶平均關注的公共主頁增多了[13]。
世界上最遙遠的距離,就是:手握大把粉絲,卻不能隨心所欲地曝光自己的產品。
當然,所有的公共主頁們,不要灰心,并不是沒有辦法,NewsFeed 的廣告系統大門永遠向你們敞開。
對 NewsFeed 的展望
具體 NewsFeed 會怎么發(fā)展,無法預測,但是可以肯定的有三點:
NewsFeed 的算法會一直進化下去。
NewsFeed 團隊把人和算法的關系處理得更好,從數據驅動(Data-Driven)到數據啟示(Data-Informed)。
越來越多的 Feed 型產品會效仿 NewsFeed,加入到興趣feed的潮流中去。
? 查看全部
2004年,Facebook 問世,兩年后的9月份,NewsFeed 問世,同時問世的還有MiniFeed(個人動態(tài))。今年是 NewsFeed 上線十周年了,這10年里,Facebook 是怎么一步一步把 NewsFeed 打造成了日收入幾千萬美金的現金牛的?不管你對這充滿銅臭的問題感不感興趣,反正我很感興趣。
今天我們都已經習慣了把照片、文字等內容主動分享給好友,但是當時 Facebook 上線了這個功能時,引起了廣泛的爭議,焦點就是“隱私”問題,用戶認為我發(fā)的動態(tài)怎么能讓別人看見呢[1]?用戶一直不停質疑和抗議,又忍不住繼續(xù)使用,Facebook 就這樣在爭議聲中增加了最初的隱私控制,比如隱藏自己的動態(tài),而 NewsFeed 就這樣堅持了下來。看來,小扎真是一個撩妹高手,看穿了用戶們“嘴上說不要,身體卻誠實”的內在。
隨著用戶們漸漸地愛上了瀏覽好友的分(xuan)享(yao)了,2009年,Facebook 加上了贊(like)功能(FriendFeed 在2007年發(fā)明了贊按鈕,FriendFeed 后來于2009年被 Facebook 收購,并將贊這個功能整合進來),開始按照熱門程度對 Feed 重排序,不出意外,這又引起了用戶們的反抗,因為大家已經習慣按照時間順序閱讀。
伴隨這么多爭議,為什么 Facebook 一直堅持做興趣feed?從數據上看,平均每個用戶每天待看的新鮮事有1500條之多,但平均每個用戶每天只能閱讀300條;從商業(yè)角度,將 Feed 排序交給上帝的做法,非常不利于商業(yè)化且有損用戶體驗,公共主頁可以使用很多伎倆吸引用戶關注,然后肆無忌憚發(fā)廣告。
10年來,NewsFeed 有數不清的改進,甚至每天線上會同時部署很多算法版本進行AB測試。但 EdgeRank 是這條優(yōu)化迭代之路上的一個標志性建筑。我們可以將 NewsFeed 排序策略按照 EdgeRank 分為 PreEdgeRank 時代、InEdgeRank 時代、PostEdgeRank 時代。
EdgeRank 算法
EdgeRank,顧名思義,就是對邊(Edge)進行排序(Rank)。
每一個朋友的每一個操作(Action)都可能以新鮮事(News)的方式呈現在用戶面前,比如朋友發(fā)布了一條新鮮事,朋友贊了朋友的朋友一條新鮮事,朋友評論了朋友的朋友一條新鮮事,朋友給自己的照片加了一個標簽,等等。稍微用腳后跟想一想就知道,按照這樣羅列的話,每個用戶得看多少新鮮事?于是 FB 就想在一條動態(tài)呈現給一個用戶之前,先預估一下這個用戶對這條新鮮事感興趣程度。在 FB 的定義下,一個 Action 就是一個 Edge,所以這套量化興趣的算法就叫做 EdgeRank。
別看今天 Facebook 各種高大上,又是深度學習又是人工智能,要知道,在 EdgeRank 提出之前,FB 也是有過刀耕火種時代的,FB 的首席產品官 Chris Cox 談及早期 NewsFeed 是這樣說的:
“In the beginning, News Feed ranking was turning knobs. Turn up photos a little bit, turn down platform stories a little bit.”(最初,NewsFeed 排序就是在主觀拍腦袋,給照片加點權重,給平臺動態(tài)消息降點權重)
“a photo might be worth 5 points, while joining a group was worth 1 point” (把照片權重定為5,把加群權重定為1)
國內算法工程師們聽到這些,想必都要會心地笑了:原來 FB 也是從這個時代走過來的。但 Facebook 不同的是,這只是暫時的情形,他們已經走到更高級的階段了。
Serkan Piantino 在2010年左右領導并開發(fā)了第一版 EdgeRank 算法。下面說說大名鼎鼎的 EdgeRank 是怎么回事。
EdgeRank 主要有三個因素在起作用:
親密度(Affinity Score)
邊的權重(Edge Weight)
新鮮程度(Time Decay)
想象一條內容誕生后,途經什么路徑流動到你的面前?
首先經你的一個朋友(或者你的關注源)的之手產生了一條新鮮事(他發(fā)布、贊、加標簽這些產生了新鮮事);
然后經過你這個朋友(或者你的關注源)的介紹,到了你家門口,你一開門(登錄)就可能看見它;
內容不多時,開門一個一個寒暄可能還行,它們也等得起,也無所謂先來后到,內容太多時,就得考慮個先來后到了。
這三個步驟,就大致刻畫了 EdgeRank 的思想了,其實還是很簡單直接的。
親密度對應了第二個步驟背后的思想,那么多人介紹過來,我們當然要優(yōu)先照顧更“喜歡”的人了,親密度的量化要考慮平常里你和這個朋友“走動”是否頻繁,連接是否緊密。主要考慮下面幾點:
你們連接的強度,點贊之交,還是評論之交,或是私信之交,連接方式不同,強度就不同;
你們連接的頻繁程度,一日百贊,還是百日一贊,差別也很大;
你們有多久沒有建立連接了,一年沒有了,關系自然就更淡了;
親密度是單向的,也就是說你對朋友的親密度,和朋友對你的親密度可能不一樣哦。
你看,看似神秘的 EdgeRank 算法,其實跟大家不太待見的雞湯居然意思是一樣的,是不是覺得它竟然如此平易近人?
邊的權重也很直接,其實它反映了產生一條新鮮事的成本,成本越高的,權重越大。點贊、評論、發(fā)一條文字、發(fā)一張照片、發(fā)一個鏈接,背后用戶付出的成本不一樣,反應在邊的權重上也就不一樣。顯然,你點個贊的成本,和你發(fā)布一條新鮮事的成本差別很多。
最后,新鮮程度,也是一個符合直覺的自然假設:NewsFeed 總是青睞 New 一些的 Feed,新的新鮮事總體上更可能得到用戶的臨幸。FB 用了一個類似指數衰減的函數來量化動態(tài)的新舊程度。
三個分數,最終用相乘的方式共同作用于每一條新鮮事的分數,用于排序和篩選。
這個排序方法的確是很簡單,基本上只考慮了社交方面的因素,而沒有考慮太多內容本身對用戶吸引力。
從公開的資料看 EdgeRank,并不是什么高深的算法,它只是量化了三個主要因素,然后主觀地相乘,而沒有任何目標優(yōu)化思想在背后,根據 Facebook 披露的消息看,早期的 EdgeRank 的確沒有引入機器學習,所以根本稱不上是智能的算法。
為什么 EdgeRank 這么有名?因為它是在F8開發(fā)者大會上公開介紹過的,經過一知半解的媒體渲染,變成了一個神秘高深的存在。
后 EdgeRank 時代
2011年之后,Facebook 內部就不再提 EdgeRank 算法了,因為用戶數和廣告主的飛增,導致 NewsFeed 的排序算法必須要更上一層樓。如今月活躍超過10億用戶,約2000萬的公共主頁,移動設備貢獻了大多數流量,復雜的上下文因素,必須引入機器學習才能 Hold 住整個場面。
在原來 EdgeRank 的基礎上,更加細致地定義了不同層級的親密度。用深度神經網絡理解圖片內容和文字內容,從而可以知道相片中的物體是不是用戶感興趣的,可以知道新鮮事的討論話題。隨著產品迭代,也加入了更多產品特征,諸如閱讀時間長短、視頻內容、鏈接內容等,取關、隱藏一個源。前前后后一共考慮了10萬+的變量(模型的特征空間應該會更高),如果還按照原來的方式去調節(jié)權重,顯然既不科學又很低效。
從 Facebook 的機器學習應用博客頁面可以看到,2010年之后就開始逐漸有機器學習方面的文章出現了。
相關資料顯示,2011年之后的 NewsFeed 排序算法,全面轉向了機器學習,用優(yōu)化理論來決定每個因素的權重,將人從繁雜的策略量化中解放出來。
在被機器學習接管后的 NewsFeed,很多地方都更加細致。
用機器學習預估新鮮事的質量。通過構造了一份問卷調查,訪問了若干用戶來收集數據,用收集的數據構建了一個機器學習模型,用于 NewsFeed 排序時預測一條動態(tài)的質量,將預測的質量分數作為最終排序的一個特征。用樹模型構造離散特征,結合最常見的LR模型預估廣告點擊率。
除了全面轉向機器學習之外,NewsFeed 團隊也在重新思考人和算法的關系。他們要關心的是到底“如何把用戶真正最關心的找出來”,而不僅僅是“提高點擊率”。Facebook 一直是數據驅動的,也是他們能夠在爭議中把 NewsFeed 堅持下來的信念來源,而是不是唯數據馬首是瞻,團隊內部有很多思考,也有很多變化。
僅舉幾例:
團隊發(fā)現有85%的隱藏新鮮事操作來自5%的人,經過與這些用戶溝通才發(fā)現,原來這5%的人把“隱藏”當作郵件里的“標記已讀”了,對喜不喜歡的新鮮事只要看過就會點擊隱藏。
對于悲傷的事情,用戶可能關心但不會點贊的。
對于有些點贊,用戶可能并不是真的感興趣,只是“點贊狂魔”發(fā)狂而已。
用戶閱讀一篇長帖子,讀到一半不讀了,也并不能說明他對這篇帖子不感興趣。
這些 case,都讓他們開始關注到機器學習和數據的局限。
于是,在算法團隊之外,Facebook 搭建了一個遍布全球的人肉評測小組。人肉評測小組不是簡單地對算法篩選結果進行喜歡/不喜歡的標注,而是會非常深入地闡述為什么喜歡/不喜歡算法篩選結果,而且會與工程師詳細交流評測結果,因為這種人肉評測方式可以有效地拆穿數據說謊,讓產品遠離一味追求提高數據指標的怪圈。
除此之外,產品上還加強了過濾器功能(Filter):你可以選擇你的動態(tài)給誰看,你可以選擇不看誰的動態(tài)(Hide),你也可以選擇優(yōu)先看到誰的動態(tài)(See first),當然你可以取消關注一些人或者公共主頁,將這些控制權交給用戶,一方面安撫了用戶被算法接管的不安,另一方面也是一項重要的數據來源。事實上,如今的過濾器已經復雜到大多數用戶都不會使用這些控制權。
“如何衡量用戶真的感興趣”這個問題也許遠遠沒有最終答案,為什么?因為人的非理性占據了絕大多數時候,而“不一致性”又是非理性的最重要表現,根據心情不同,用戶有不同的感興趣的標準,而且這些標準也許還是相互矛盾的。
NewsFeed 的配套設施
NewsFeed 存在的前提是要依賴用戶建立大量的社交聯系,這樣才會出現信息過載,因此 NewsFeed 的一個重要的配套設施就是“你可能感興趣的人”(People you may like)推薦系統。
這是一個我們在產品形式上比較熟悉的推薦系統,它是一套大規(guī)模矩陣分解算法,利用已有的協同矩陣為你推薦你可能想建立聯系的新Item,包括用戶、app、公共主頁等。
NewsFeed 還有另一個配套設施,也是它為什么每天能吸金幾千萬刀的原因:廣告系統。Facebook 的廣告形態(tài)多樣:
Suggested Page (你可能喜歡的公眾頁)
Page Post (公眾號帖子推廣)
Suggested App (你可能喜歡的應用)
Video Ads (視頻廣告)
現在,每一次 NewsFeed 調整算法都會引來廣告主們的抗議,他們都是在 FB 上擁有公共主頁的商業(yè)機構。
在以前,FB 鼓勵這些商業(yè)機構花錢投廣告增加粉絲,彼時的 NewsFeed 算法允許隨意發(fā)廣告(以原生的新鮮事形式)。而現在,FB 嚴格限制商業(yè)廣告和普通用戶的觸達。商業(yè)機構感覺自己被耍了,花錢買粉之后卻不能發(fā)原生廣告,無獨有偶,根據微博 CEO(@來去之間)在微博上的披露,現在微博企業(yè)號也是被限制博文達到粉絲 feed 次數的。
據國外某專門做 NewsFeed 推廣的公司追蹤,1000個公共主頁的50000條內容以原生方式觸達用戶的比例,從2012年16%降低到了2014年的6.51%,降了一倍還多,這當然也可能因為用戶平均關注的公共主頁增多了[13]。
世界上最遙遠的距離,就是:手握大把粉絲,卻不能隨心所欲地曝光自己的產品。
當然,所有的公共主頁們,不要灰心,并不是沒有辦法,NewsFeed 的廣告系統大門永遠向你們敞開。
對 NewsFeed 的展望
具體 NewsFeed 會怎么發(fā)展,無法預測,但是可以肯定的有三點:
NewsFeed 的算法會一直進化下去。
NewsFeed 團隊把人和算法的關系處理得更好,從數據驅動(Data-Driven)到數據啟示(Data-Informed)。
越來越多的 Feed 型產品會效仿 NewsFeed,加入到興趣feed的潮流中去。
? 查看全部
NewsFeed 怎么來的
2004年,Facebook 問世,兩年后的9月份,NewsFeed 問世,同時問世的還有MiniFeed(個人動態(tài))。今年是 NewsFeed 上線十周年了,這10年里,Facebook 是怎么一步一步把 NewsFeed 打造成了日收入幾千萬美金的現金牛的?不管你對這充滿銅臭的問題感不感興趣,反正我很感興趣。
今天我們都已經習慣了把照片、文字等內容主動分享給好友,但是當時 Facebook 上線了這個功能時,引起了廣泛的爭議,焦點就是“隱私”問題,用戶認為我發(fā)的動態(tài)怎么能讓別人看見呢[1]?用戶一直不停質疑和抗議,又忍不住繼續(xù)使用,Facebook 就這樣在爭議聲中增加了最初的隱私控制,比如隱藏自己的動態(tài),而 NewsFeed 就這樣堅持了下來??磥恚≡媸且粋€撩妹高手,看穿了用戶們“嘴上說不要,身體卻誠實”的內在。
隨著用戶們漸漸地愛上了瀏覽好友的分(xuan)享(yao)了,2009年,Facebook 加上了贊(like)功能(FriendFeed 在2007年發(fā)明了贊按鈕,FriendFeed 后來于2009年被 Facebook 收購,并將贊這個功能整合進來),開始按照熱門程度對 Feed 重排序,不出意外,這又引起了用戶們的反抗,因為大家已經習慣按照時間順序閱讀。
伴隨這么多爭議,為什么 Facebook 一直堅持做興趣feed?從數據上看,平均每個用戶每天待看的新鮮事有1500條之多,但平均每個用戶每天只能閱讀300條;從商業(yè)角度,將 Feed 排序交給上帝的做法,非常不利于商業(yè)化且有損用戶體驗,公共主頁可以使用很多伎倆吸引用戶關注,然后肆無忌憚發(fā)廣告。
10年來,NewsFeed 有數不清的改進,甚至每天線上會同時部署很多算法版本進行AB測試。但 EdgeRank 是這條優(yōu)化迭代之路上的一個標志性建筑。我們可以將 NewsFeed 排序策略按照 EdgeRank 分為 PreEdgeRank 時代、InEdgeRank 時代、PostEdgeRank 時代。
EdgeRank 算法
EdgeRank,顧名思義,就是對邊(Edge)進行排序(Rank)。
每一個朋友的每一個操作(Action)都可能以新鮮事(News)的方式呈現在用戶面前,比如朋友發(fā)布了一條新鮮事,朋友贊了朋友的朋友一條新鮮事,朋友評論了朋友的朋友一條新鮮事,朋友給自己的照片加了一個標簽,等等。稍微用腳后跟想一想就知道,按照這樣羅列的話,每個用戶得看多少新鮮事?于是 FB 就想在一條動態(tài)呈現給一個用戶之前,先預估一下這個用戶對這條新鮮事感興趣程度。在 FB 的定義下,一個 Action 就是一個 Edge,所以這套量化興趣的算法就叫做 EdgeRank。
別看今天 Facebook 各種高大上,又是深度學習又是人工智能,要知道,在 EdgeRank 提出之前,FB 也是有過刀耕火種時代的,FB 的首席產品官 Chris Cox 談及早期 NewsFeed 是這樣說的:
“In the beginning, News Feed ranking was turning knobs. Turn up photos a little bit, turn down platform stories a little bit.”(最初,NewsFeed 排序就是在主觀拍腦袋,給照片加點權重,給平臺動態(tài)消息降點權重)
“a photo might be worth 5 points, while joining a group was worth 1 point” (把照片權重定為5,把加群權重定為1)
國內算法工程師們聽到這些,想必都要會心地笑了:原來 FB 也是從這個時代走過來的。但 Facebook 不同的是,這只是暫時的情形,他們已經走到更高級的階段了。
Serkan Piantino 在2010年左右領導并開發(fā)了第一版 EdgeRank 算法。下面說說大名鼎鼎的 EdgeRank 是怎么回事。
EdgeRank 主要有三個因素在起作用:
親密度(Affinity Score)
邊的權重(Edge Weight)
新鮮程度(Time Decay)
想象一條內容誕生后,途經什么路徑流動到你的面前?
首先經你的一個朋友(或者你的關注源)的之手產生了一條新鮮事(他發(fā)布、贊、加標簽這些產生了新鮮事);
然后經過你這個朋友(或者你的關注源)的介紹,到了你家門口,你一開門(登錄)就可能看見它;
內容不多時,開門一個一個寒暄可能還行,它們也等得起,也無所謂先來后到,內容太多時,就得考慮個先來后到了。
這三個步驟,就大致刻畫了 EdgeRank 的思想了,其實還是很簡單直接的。
親密度對應了第二個步驟背后的思想,那么多人介紹過來,我們當然要優(yōu)先照顧更“喜歡”的人了,親密度的量化要考慮平常里你和這個朋友“走動”是否頻繁,連接是否緊密。主要考慮下面幾點:
你們連接的強度,點贊之交,還是評論之交,或是私信之交,連接方式不同,強度就不同;
你們連接的頻繁程度,一日百贊,還是百日一贊,差別也很大;
你們有多久沒有建立連接了,一年沒有了,關系自然就更淡了;
親密度是單向的,也就是說你對朋友的親密度,和朋友對你的親密度可能不一樣哦。
你看,看似神秘的 EdgeRank 算法,其實跟大家不太待見的雞湯居然意思是一樣的,是不是覺得它竟然如此平易近人?
邊的權重也很直接,其實它反映了產生一條新鮮事的成本,成本越高的,權重越大。點贊、評論、發(fā)一條文字、發(fā)一張照片、發(fā)一個鏈接,背后用戶付出的成本不一樣,反應在邊的權重上也就不一樣。顯然,你點個贊的成本,和你發(fā)布一條新鮮事的成本差別很多。
最后,新鮮程度,也是一個符合直覺的自然假設:NewsFeed 總是青睞 New 一些的 Feed,新的新鮮事總體上更可能得到用戶的臨幸。FB 用了一個類似指數衰減的函數來量化動態(tài)的新舊程度。
三個分數,最終用相乘的方式共同作用于每一條新鮮事的分數,用于排序和篩選。
這個排序方法的確是很簡單,基本上只考慮了社交方面的因素,而沒有考慮太多內容本身對用戶吸引力。
從公開的資料看 EdgeRank,并不是什么高深的算法,它只是量化了三個主要因素,然后主觀地相乘,而沒有任何目標優(yōu)化思想在背后,根據 Facebook 披露的消息看,早期的 EdgeRank 的確沒有引入機器學習,所以根本稱不上是智能的算法。
為什么 EdgeRank 這么有名?因為它是在F8開發(fā)者大會上公開介紹過的,經過一知半解的媒體渲染,變成了一個神秘高深的存在。
后 EdgeRank 時代
2011年之后,Facebook 內部就不再提 EdgeRank 算法了,因為用戶數和廣告主的飛增,導致 NewsFeed 的排序算法必須要更上一層樓。如今月活躍超過10億用戶,約2000萬的公共主頁,移動設備貢獻了大多數流量,復雜的上下文因素,必須引入機器學習才能 Hold 住整個場面。
在原來 EdgeRank 的基礎上,更加細致地定義了不同層級的親密度。用深度神經網絡理解圖片內容和文字內容,從而可以知道相片中的物體是不是用戶感興趣的,可以知道新鮮事的討論話題。隨著產品迭代,也加入了更多產品特征,諸如閱讀時間長短、視頻內容、鏈接內容等,取關、隱藏一個源。前前后后一共考慮了10萬+的變量(模型的特征空間應該會更高),如果還按照原來的方式去調節(jié)權重,顯然既不科學又很低效。
從 Facebook 的機器學習應用博客頁面可以看到,2010年之后就開始逐漸有機器學習方面的文章出現了。
相關資料顯示,2011年之后的 NewsFeed 排序算法,全面轉向了機器學習,用優(yōu)化理論來決定每個因素的權重,將人從繁雜的策略量化中解放出來。
在被機器學習接管后的 NewsFeed,很多地方都更加細致。
用機器學習預估新鮮事的質量。通過構造了一份問卷調查,訪問了若干用戶來收集數據,用收集的數據構建了一個機器學習模型,用于 NewsFeed 排序時預測一條動態(tài)的質量,將預測的質量分數作為最終排序的一個特征。用樹模型構造離散特征,結合最常見的LR模型預估廣告點擊率。
除了全面轉向機器學習之外,NewsFeed 團隊也在重新思考人和算法的關系。他們要關心的是到底“如何把用戶真正最關心的找出來”,而不僅僅是“提高點擊率”。Facebook 一直是數據驅動的,也是他們能夠在爭議中把 NewsFeed 堅持下來的信念來源,而是不是唯數據馬首是瞻,團隊內部有很多思考,也有很多變化。
僅舉幾例:
團隊發(fā)現有85%的隱藏新鮮事操作來自5%的人,經過與這些用戶溝通才發(fā)現,原來這5%的人把“隱藏”當作郵件里的“標記已讀”了,對喜不喜歡的新鮮事只要看過就會點擊隱藏。
對于悲傷的事情,用戶可能關心但不會點贊的。
對于有些點贊,用戶可能并不是真的感興趣,只是“點贊狂魔”發(fā)狂而已。
用戶閱讀一篇長帖子,讀到一半不讀了,也并不能說明他對這篇帖子不感興趣。
這些 case,都讓他們開始關注到機器學習和數據的局限。
于是,在算法團隊之外,Facebook 搭建了一個遍布全球的人肉評測小組。人肉評測小組不是簡單地對算法篩選結果進行喜歡/不喜歡的標注,而是會非常深入地闡述為什么喜歡/不喜歡算法篩選結果,而且會與工程師詳細交流評測結果,因為這種人肉評測方式可以有效地拆穿數據說謊,讓產品遠離一味追求提高數據指標的怪圈。
除此之外,產品上還加強了過濾器功能(Filter):你可以選擇你的動態(tài)給誰看,你可以選擇不看誰的動態(tài)(Hide),你也可以選擇優(yōu)先看到誰的動態(tài)(See first),當然你可以取消關注一些人或者公共主頁,將這些控制權交給用戶,一方面安撫了用戶被算法接管的不安,另一方面也是一項重要的數據來源。事實上,如今的過濾器已經復雜到大多數用戶都不會使用這些控制權。
“如何衡量用戶真的感興趣”這個問題也許遠遠沒有最終答案,為什么?因為人的非理性占據了絕大多數時候,而“不一致性”又是非理性的最重要表現,根據心情不同,用戶有不同的感興趣的標準,而且這些標準也許還是相互矛盾的。
NewsFeed 的配套設施
NewsFeed 存在的前提是要依賴用戶建立大量的社交聯系,這樣才會出現信息過載,因此 NewsFeed 的一個重要的配套設施就是“你可能感興趣的人”(People you may like)推薦系統。
這是一個我們在產品形式上比較熟悉的推薦系統,它是一套大規(guī)模矩陣分解算法,利用已有的協同矩陣為你推薦你可能想建立聯系的新Item,包括用戶、app、公共主頁等。
NewsFeed 還有另一個配套設施,也是它為什么每天能吸金幾千萬刀的原因:廣告系統。Facebook 的廣告形態(tài)多樣:
Suggested Page (你可能喜歡的公眾頁)
Page Post (公眾號帖子推廣)
Suggested App (你可能喜歡的應用)
Video Ads (視頻廣告)
現在,每一次 NewsFeed 調整算法都會引來廣告主們的抗議,他們都是在 FB 上擁有公共主頁的商業(yè)機構。
在以前,FB 鼓勵這些商業(yè)機構花錢投廣告增加粉絲,彼時的 NewsFeed 算法允許隨意發(fā)廣告(以原生的新鮮事形式)。而現在,FB 嚴格限制商業(yè)廣告和普通用戶的觸達。商業(yè)機構感覺自己被耍了,花錢買粉之后卻不能發(fā)原生廣告,無獨有偶,根據微博 CEO(@來去之間)在微博上的披露,現在微博企業(yè)號也是被限制博文達到粉絲 feed 次數的。
據國外某專門做 NewsFeed 推廣的公司追蹤,1000個公共主頁的50000條內容以原生方式觸達用戶的比例,從2012年16%降低到了2014年的6.51%,降了一倍還多,這當然也可能因為用戶平均關注的公共主頁增多了[13]。
世界上最遙遠的距離,就是:手握大把粉絲,卻不能隨心所欲地曝光自己的產品。
當然,所有的公共主頁們,不要灰心,并不是沒有辦法,NewsFeed 的廣告系統大門永遠向你們敞開。
對 NewsFeed 的展望
具體 NewsFeed 會怎么發(fā)展,無法預測,但是可以肯定的有三點:
NewsFeed 的算法會一直進化下去。
NewsFeed 團隊把人和算法的關系處理得更好,從數據驅動(Data-Driven)到數據啟示(Data-Informed)。
越來越多的 Feed 型產品會效仿 NewsFeed,加入到興趣feed的潮流中去。
?
2004年,Facebook 問世,兩年后的9月份,NewsFeed 問世,同時問世的還有MiniFeed(個人動態(tài))。今年是 NewsFeed 上線十周年了,這10年里,Facebook 是怎么一步一步把 NewsFeed 打造成了日收入幾千萬美金的現金牛的?不管你對這充滿銅臭的問題感不感興趣,反正我很感興趣。
今天我們都已經習慣了把照片、文字等內容主動分享給好友,但是當時 Facebook 上線了這個功能時,引起了廣泛的爭議,焦點就是“隱私”問題,用戶認為我發(fā)的動態(tài)怎么能讓別人看見呢[1]?用戶一直不停質疑和抗議,又忍不住繼續(xù)使用,Facebook 就這樣在爭議聲中增加了最初的隱私控制,比如隱藏自己的動態(tài),而 NewsFeed 就這樣堅持了下來??磥恚≡媸且粋€撩妹高手,看穿了用戶們“嘴上說不要,身體卻誠實”的內在。
隨著用戶們漸漸地愛上了瀏覽好友的分(xuan)享(yao)了,2009年,Facebook 加上了贊(like)功能(FriendFeed 在2007年發(fā)明了贊按鈕,FriendFeed 后來于2009年被 Facebook 收購,并將贊這個功能整合進來),開始按照熱門程度對 Feed 重排序,不出意外,這又引起了用戶們的反抗,因為大家已經習慣按照時間順序閱讀。
伴隨這么多爭議,為什么 Facebook 一直堅持做興趣feed?從數據上看,平均每個用戶每天待看的新鮮事有1500條之多,但平均每個用戶每天只能閱讀300條;從商業(yè)角度,將 Feed 排序交給上帝的做法,非常不利于商業(yè)化且有損用戶體驗,公共主頁可以使用很多伎倆吸引用戶關注,然后肆無忌憚發(fā)廣告。
10年來,NewsFeed 有數不清的改進,甚至每天線上會同時部署很多算法版本進行AB測試。但 EdgeRank 是這條優(yōu)化迭代之路上的一個標志性建筑。我們可以將 NewsFeed 排序策略按照 EdgeRank 分為 PreEdgeRank 時代、InEdgeRank 時代、PostEdgeRank 時代。
EdgeRank 算法
EdgeRank,顧名思義,就是對邊(Edge)進行排序(Rank)。
每一個朋友的每一個操作(Action)都可能以新鮮事(News)的方式呈現在用戶面前,比如朋友發(fā)布了一條新鮮事,朋友贊了朋友的朋友一條新鮮事,朋友評論了朋友的朋友一條新鮮事,朋友給自己的照片加了一個標簽,等等。稍微用腳后跟想一想就知道,按照這樣羅列的話,每個用戶得看多少新鮮事?于是 FB 就想在一條動態(tài)呈現給一個用戶之前,先預估一下這個用戶對這條新鮮事感興趣程度。在 FB 的定義下,一個 Action 就是一個 Edge,所以這套量化興趣的算法就叫做 EdgeRank。
別看今天 Facebook 各種高大上,又是深度學習又是人工智能,要知道,在 EdgeRank 提出之前,FB 也是有過刀耕火種時代的,FB 的首席產品官 Chris Cox 談及早期 NewsFeed 是這樣說的:
“In the beginning, News Feed ranking was turning knobs. Turn up photos a little bit, turn down platform stories a little bit.”(最初,NewsFeed 排序就是在主觀拍腦袋,給照片加點權重,給平臺動態(tài)消息降點權重)
“a photo might be worth 5 points, while joining a group was worth 1 point” (把照片權重定為5,把加群權重定為1)
國內算法工程師們聽到這些,想必都要會心地笑了:原來 FB 也是從這個時代走過來的。但 Facebook 不同的是,這只是暫時的情形,他們已經走到更高級的階段了。
Serkan Piantino 在2010年左右領導并開發(fā)了第一版 EdgeRank 算法。下面說說大名鼎鼎的 EdgeRank 是怎么回事。
EdgeRank 主要有三個因素在起作用:
親密度(Affinity Score)
邊的權重(Edge Weight)
新鮮程度(Time Decay)
想象一條內容誕生后,途經什么路徑流動到你的面前?
首先經你的一個朋友(或者你的關注源)的之手產生了一條新鮮事(他發(fā)布、贊、加標簽這些產生了新鮮事);
然后經過你這個朋友(或者你的關注源)的介紹,到了你家門口,你一開門(登錄)就可能看見它;
內容不多時,開門一個一個寒暄可能還行,它們也等得起,也無所謂先來后到,內容太多時,就得考慮個先來后到了。
這三個步驟,就大致刻畫了 EdgeRank 的思想了,其實還是很簡單直接的。
親密度對應了第二個步驟背后的思想,那么多人介紹過來,我們當然要優(yōu)先照顧更“喜歡”的人了,親密度的量化要考慮平常里你和這個朋友“走動”是否頻繁,連接是否緊密。主要考慮下面幾點:
你們連接的強度,點贊之交,還是評論之交,或是私信之交,連接方式不同,強度就不同;
你們連接的頻繁程度,一日百贊,還是百日一贊,差別也很大;
你們有多久沒有建立連接了,一年沒有了,關系自然就更淡了;
親密度是單向的,也就是說你對朋友的親密度,和朋友對你的親密度可能不一樣哦。
你看,看似神秘的 EdgeRank 算法,其實跟大家不太待見的雞湯居然意思是一樣的,是不是覺得它竟然如此平易近人?
邊的權重也很直接,其實它反映了產生一條新鮮事的成本,成本越高的,權重越大。點贊、評論、發(fā)一條文字、發(fā)一張照片、發(fā)一個鏈接,背后用戶付出的成本不一樣,反應在邊的權重上也就不一樣。顯然,你點個贊的成本,和你發(fā)布一條新鮮事的成本差別很多。
最后,新鮮程度,也是一個符合直覺的自然假設:NewsFeed 總是青睞 New 一些的 Feed,新的新鮮事總體上更可能得到用戶的臨幸。FB 用了一個類似指數衰減的函數來量化動態(tài)的新舊程度。
三個分數,最終用相乘的方式共同作用于每一條新鮮事的分數,用于排序和篩選。
這個排序方法的確是很簡單,基本上只考慮了社交方面的因素,而沒有考慮太多內容本身對用戶吸引力。
從公開的資料看 EdgeRank,并不是什么高深的算法,它只是量化了三個主要因素,然后主觀地相乘,而沒有任何目標優(yōu)化思想在背后,根據 Facebook 披露的消息看,早期的 EdgeRank 的確沒有引入機器學習,所以根本稱不上是智能的算法。
為什么 EdgeRank 這么有名?因為它是在F8開發(fā)者大會上公開介紹過的,經過一知半解的媒體渲染,變成了一個神秘高深的存在。
后 EdgeRank 時代
2011年之后,Facebook 內部就不再提 EdgeRank 算法了,因為用戶數和廣告主的飛增,導致 NewsFeed 的排序算法必須要更上一層樓。如今月活躍超過10億用戶,約2000萬的公共主頁,移動設備貢獻了大多數流量,復雜的上下文因素,必須引入機器學習才能 Hold 住整個場面。
在原來 EdgeRank 的基礎上,更加細致地定義了不同層級的親密度。用深度神經網絡理解圖片內容和文字內容,從而可以知道相片中的物體是不是用戶感興趣的,可以知道新鮮事的討論話題。隨著產品迭代,也加入了更多產品特征,諸如閱讀時間長短、視頻內容、鏈接內容等,取關、隱藏一個源。前前后后一共考慮了10萬+的變量(模型的特征空間應該會更高),如果還按照原來的方式去調節(jié)權重,顯然既不科學又很低效。
從 Facebook 的機器學習應用博客頁面可以看到,2010年之后就開始逐漸有機器學習方面的文章出現了。
相關資料顯示,2011年之后的 NewsFeed 排序算法,全面轉向了機器學習,用優(yōu)化理論來決定每個因素的權重,將人從繁雜的策略量化中解放出來。
在被機器學習接管后的 NewsFeed,很多地方都更加細致。
用機器學習預估新鮮事的質量。通過構造了一份問卷調查,訪問了若干用戶來收集數據,用收集的數據構建了一個機器學習模型,用于 NewsFeed 排序時預測一條動態(tài)的質量,將預測的質量分數作為最終排序的一個特征。用樹模型構造離散特征,結合最常見的LR模型預估廣告點擊率。
除了全面轉向機器學習之外,NewsFeed 團隊也在重新思考人和算法的關系。他們要關心的是到底“如何把用戶真正最關心的找出來”,而不僅僅是“提高點擊率”。Facebook 一直是數據驅動的,也是他們能夠在爭議中把 NewsFeed 堅持下來的信念來源,而是不是唯數據馬首是瞻,團隊內部有很多思考,也有很多變化。
僅舉幾例:
團隊發(fā)現有85%的隱藏新鮮事操作來自5%的人,經過與這些用戶溝通才發(fā)現,原來這5%的人把“隱藏”當作郵件里的“標記已讀”了,對喜不喜歡的新鮮事只要看過就會點擊隱藏。
對于悲傷的事情,用戶可能關心但不會點贊的。
對于有些點贊,用戶可能并不是真的感興趣,只是“點贊狂魔”發(fā)狂而已。
用戶閱讀一篇長帖子,讀到一半不讀了,也并不能說明他對這篇帖子不感興趣。
這些 case,都讓他們開始關注到機器學習和數據的局限。
于是,在算法團隊之外,Facebook 搭建了一個遍布全球的人肉評測小組。人肉評測小組不是簡單地對算法篩選結果進行喜歡/不喜歡的標注,而是會非常深入地闡述為什么喜歡/不喜歡算法篩選結果,而且會與工程師詳細交流評測結果,因為這種人肉評測方式可以有效地拆穿數據說謊,讓產品遠離一味追求提高數據指標的怪圈。
除此之外,產品上還加強了過濾器功能(Filter):你可以選擇你的動態(tài)給誰看,你可以選擇不看誰的動態(tài)(Hide),你也可以選擇優(yōu)先看到誰的動態(tài)(See first),當然你可以取消關注一些人或者公共主頁,將這些控制權交給用戶,一方面安撫了用戶被算法接管的不安,另一方面也是一項重要的數據來源。事實上,如今的過濾器已經復雜到大多數用戶都不會使用這些控制權。
“如何衡量用戶真的感興趣”這個問題也許遠遠沒有最終答案,為什么?因為人的非理性占據了絕大多數時候,而“不一致性”又是非理性的最重要表現,根據心情不同,用戶有不同的感興趣的標準,而且這些標準也許還是相互矛盾的。
NewsFeed 的配套設施
NewsFeed 存在的前提是要依賴用戶建立大量的社交聯系,這樣才會出現信息過載,因此 NewsFeed 的一個重要的配套設施就是“你可能感興趣的人”(People you may like)推薦系統。
這是一個我們在產品形式上比較熟悉的推薦系統,它是一套大規(guī)模矩陣分解算法,利用已有的協同矩陣為你推薦你可能想建立聯系的新Item,包括用戶、app、公共主頁等。
NewsFeed 還有另一個配套設施,也是它為什么每天能吸金幾千萬刀的原因:廣告系統。Facebook 的廣告形態(tài)多樣:
Suggested Page (你可能喜歡的公眾頁)
Page Post (公眾號帖子推廣)
Suggested App (你可能喜歡的應用)
Video Ads (視頻廣告)
現在,每一次 NewsFeed 調整算法都會引來廣告主們的抗議,他們都是在 FB 上擁有公共主頁的商業(yè)機構。
在以前,FB 鼓勵這些商業(yè)機構花錢投廣告增加粉絲,彼時的 NewsFeed 算法允許隨意發(fā)廣告(以原生的新鮮事形式)。而現在,FB 嚴格限制商業(yè)廣告和普通用戶的觸達。商業(yè)機構感覺自己被耍了,花錢買粉之后卻不能發(fā)原生廣告,無獨有偶,根據微博 CEO(@來去之間)在微博上的披露,現在微博企業(yè)號也是被限制博文達到粉絲 feed 次數的。
據國外某專門做 NewsFeed 推廣的公司追蹤,1000個公共主頁的50000條內容以原生方式觸達用戶的比例,從2012年16%降低到了2014年的6.51%,降了一倍還多,這當然也可能因為用戶平均關注的公共主頁增多了[13]。
世界上最遙遠的距離,就是:手握大把粉絲,卻不能隨心所欲地曝光自己的產品。
當然,所有的公共主頁們,不要灰心,并不是沒有辦法,NewsFeed 的廣告系統大門永遠向你們敞開。
對 NewsFeed 的展望
具體 NewsFeed 會怎么發(fā)展,無法預測,但是可以肯定的有三點:
NewsFeed 的算法會一直進化下去。
NewsFeed 團隊把人和算法的關系處理得更好,從數據驅動(Data-Driven)到數據啟示(Data-Informed)。
越來越多的 Feed 型產品會效仿 NewsFeed,加入到興趣feed的潮流中去。
?
【干貨分享】Facebook NewsFeed是什么意思以及該算法(EdgeRank)的解析
運營實操 ? 孤舟一葉 發(fā)表了文章 ? 0 個評論 ? 26342 次瀏覽 ? 2017-12-14 14:33
NewsFeed 怎么來的
2004年,Facebook 問世,兩年后的9月份,NewsFeed 問世,同時問世的還有MiniFeed(個人動態(tài))。今年是 NewsFeed 上線十周年了,這10年里,Facebook 是怎么一步一步把 NewsFeed 打造成了日收入幾千萬美金的現金牛的?不管你對這充滿銅臭的問題感不感興趣,反正我很感興趣。
今天我們都已經習慣了把照片、文字等內容主動分享給好友,但是當時 Facebook 上線了這個功能時,引起了廣泛的爭議,焦點就是“隱私”問題,用戶認為我發(fā)的動態(tài)怎么能讓別人看見呢[1]?用戶一直不停質疑和抗議,又忍不住繼續(xù)使用,Facebook 就這樣在爭議聲中增加了最初的隱私控制,比如隱藏自己的動態(tài),而 NewsFeed 就這樣堅持了下來。看來,小扎真是一個撩妹高手,看穿了用戶們“嘴上說不要,身體卻誠實”的內在。
隨著用戶們漸漸地愛上了瀏覽好友的分(xuan)享(yao)了,2009年,Facebook 加上了贊(like)功能(FriendFeed 在2007年發(fā)明了贊按鈕,FriendFeed 后來于2009年被 Facebook 收購,并將贊這個功能整合進來),開始按照熱門程度對 Feed 重排序,不出意外,這又引起了用戶們的反抗,因為大家已經習慣按照時間順序閱讀。
伴隨這么多爭議,為什么 Facebook 一直堅持做興趣feed?從數據上看,平均每個用戶每天待看的新鮮事有1500條之多,但平均每個用戶每天只能閱讀300條;從商業(yè)角度,將 Feed 排序交給上帝的做法,非常不利于商業(yè)化且有損用戶體驗,公共主頁可以使用很多伎倆吸引用戶關注,然后肆無忌憚發(fā)廣告。
10年來,NewsFeed 有數不清的改進,甚至每天線上會同時部署很多算法版本進行AB測試。但 EdgeRank 是這條優(yōu)化迭代之路上的一個標志性建筑。我們可以將 NewsFeed 排序策略按照 EdgeRank 分為 PreEdgeRank 時代、InEdgeRank 時代、PostEdgeRank 時代。
EdgeRank 算法
EdgeRank,顧名思義,就是對邊(Edge)進行排序(Rank)。
每一個朋友的每一個操作(Action)都可能以新鮮事(News)的方式呈現在用戶面前,比如朋友發(fā)布了一條新鮮事,朋友贊了朋友的朋友一條新鮮事,朋友評論了朋友的朋友一條新鮮事,朋友給自己的照片加了一個標簽,等等。稍微用腳后跟想一想就知道,按照這樣羅列的話,每個用戶得看多少新鮮事?于是 FB 就想在一條動態(tài)呈現給一個用戶之前,先預估一下這個用戶對這條新鮮事感興趣程度。在 FB 的定義下,一個 Action 就是一個 Edge,所以這套量化興趣的算法就叫做 EdgeRank。
別看今天 Facebook 各種高大上,又是深度學習又是人工智能,要知道,在 EdgeRank 提出之前,FB 也是有過刀耕火種時代的,FB 的首席產品官 Chris Cox 談及早期 NewsFeed 是這樣說的:
“In the beginning, News Feed ranking was turning knobs. Turn up photos a little bit, turn down platform stories a little bit.”(最初,NewsFeed 排序就是在主觀拍腦袋,給照片加點權重,給平臺動態(tài)消息降點權重)
“a photo might be worth 5 points, while joining a group was worth 1 point” (把照片權重定為5,把加群權重定為1)
國內算法工程師們聽到這些,想必都要會心地笑了:原來 FB 也是從這個時代走過來的。但 Facebook 不同的是,這只是暫時的情形,他們已經走到更高級的階段了。
Serkan Piantino 在2010年左右領導并開發(fā)了第一版 EdgeRank 算法。下面說說大名鼎鼎的 EdgeRank 是怎么回事。
EdgeRank 主要有三個因素在起作用:
親密度(Affinity Score)
邊的權重(Edge Weight)
新鮮程度(Time Decay)
想象一條內容誕生后,途經什么路徑流動到你的面前?
首先經你的一個朋友(或者你的關注源)的之手產生了一條新鮮事(他發(fā)布、贊、加標簽這些產生了新鮮事);
然后經過你這個朋友(或者你的關注源)的介紹,到了你家門口,你一開門(登錄)就可能看見它;
內容不多時,開門一個一個寒暄可能還行,它們也等得起,也無所謂先來后到,內容太多時,就得考慮個先來后到了。
這三個步驟,就大致刻畫了 EdgeRank 的思想了,其實還是很簡單直接的。
親密度對應了第二個步驟背后的思想,那么多人介紹過來,我們當然要優(yōu)先照顧更“喜歡”的人了,親密度的量化要考慮平常里你和這個朋友“走動”是否頻繁,連接是否緊密。主要考慮下面幾點:
你們連接的強度,點贊之交,還是評論之交,或是私信之交,連接方式不同,強度就不同;
你們連接的頻繁程度,一日百贊,還是百日一贊,差別也很大;
你們有多久沒有建立連接了,一年沒有了,關系自然就更淡了;
親密度是單向的,也就是說你對朋友的親密度,和朋友對你的親密度可能不一樣哦。
你看,看似神秘的 EdgeRank 算法,其實跟大家不太待見的雞湯居然意思是一樣的,是不是覺得它竟然如此平易近人?
邊的權重也很直接,其實它反映了產生一條新鮮事的成本,成本越高的,權重越大。點贊、評論、發(fā)一條文字、發(fā)一張照片、發(fā)一個鏈接,背后用戶付出的成本不一樣,反應在邊的權重上也就不一樣。顯然,你點個贊的成本,和你發(fā)布一條新鮮事的成本差別很多。
最后,新鮮程度,也是一個符合直覺的自然假設:NewsFeed 總是青睞 New 一些的 Feed,新的新鮮事總體上更可能得到用戶的臨幸。FB 用了一個類似指數衰減的函數來量化動態(tài)的新舊程度。
三個分數,最終用相乘的方式共同作用于每一條新鮮事的分數,用于排序和篩選。
這個排序方法的確是很簡單,基本上只考慮了社交方面的因素,而沒有考慮太多內容本身對用戶吸引力。
從公開的資料看 EdgeRank,并不是什么高深的算法,它只是量化了三個主要因素,然后主觀地相乘,而沒有任何目標優(yōu)化思想在背后,根據 Facebook 披露的消息看,早期的 EdgeRank 的確沒有引入機器學習,所以根本稱不上是智能的算法。
為什么 EdgeRank 這么有名?因為它是在F8開發(fā)者大會上公開介紹過的,經過一知半解的媒體渲染,變成了一個神秘高深的存在。
后 EdgeRank 時代
2011年之后,Facebook 內部就不再提 EdgeRank 算法了,因為用戶數和廣告主的飛增,導致 NewsFeed 的排序算法必須要更上一層樓。如今月活躍超過10億用戶,約2000萬的公共主頁,移動設備貢獻了大多數流量,復雜的上下文因素,必須引入機器學習才能 Hold 住整個場面。
在原來 EdgeRank 的基礎上,更加細致地定義了不同層級的親密度。用深度神經網絡理解圖片內容和文字內容,從而可以知道相片中的物體是不是用戶感興趣的,可以知道新鮮事的討論話題。隨著產品迭代,也加入了更多產品特征,諸如閱讀時間長短、視頻內容、鏈接內容等,取關、隱藏一個源。前前后后一共考慮了10萬+的變量(模型的特征空間應該會更高),如果還按照原來的方式去調節(jié)權重,顯然既不科學又很低效。
從 Facebook 的機器學習應用博客頁面可以看到,2010年之后就開始逐漸有機器學習方面的文章出現了。
相關資料顯示,2011年之后的 NewsFeed 排序算法,全面轉向了機器學習,用優(yōu)化理論來決定每個因素的權重,將人從繁雜的策略量化中解放出來。
在被機器學習接管后的 NewsFeed,很多地方都更加細致。
用機器學習預估新鮮事的質量。通過構造了一份問卷調查,訪問了若干用戶來收集數據,用收集的數據構建了一個機器學習模型,用于 NewsFeed 排序時預測一條動態(tài)的質量,將預測的質量分數作為最終排序的一個特征。用樹模型構造離散特征,結合最常見的LR模型預估廣告點擊率。
除了全面轉向機器學習之外,NewsFeed 團隊也在重新思考人和算法的關系。他們要關心的是到底“如何把用戶真正最關心的找出來”,而不僅僅是“提高點擊率”。Facebook 一直是數據驅動的,也是他們能夠在爭議中把 NewsFeed 堅持下來的信念來源,而是不是唯數據馬首是瞻,團隊內部有很多思考,也有很多變化。
僅舉幾例:
團隊發(fā)現有85%的隱藏新鮮事操作來自5%的人,經過與這些用戶溝通才發(fā)現,原來這5%的人把“隱藏”當作郵件里的“標記已讀”了,對喜不喜歡的新鮮事只要看過就會點擊隱藏。
對于悲傷的事情,用戶可能關心但不會點贊的。
對于有些點贊,用戶可能并不是真的感興趣,只是“點贊狂魔”發(fā)狂而已。
用戶閱讀一篇長帖子,讀到一半不讀了,也并不能說明他對這篇帖子不感興趣。
這些 case,都讓他們開始關注到機器學習和數據的局限。
于是,在算法團隊之外,Facebook 搭建了一個遍布全球的人肉評測小組。人肉評測小組不是簡單地對算法篩選結果進行喜歡/不喜歡的標注,而是會非常深入地闡述為什么喜歡/不喜歡算法篩選結果,而且會與工程師詳細交流評測結果,因為這種人肉評測方式可以有效地拆穿數據說謊,讓產品遠離一味追求提高數據指標的怪圈。
除此之外,產品上還加強了過濾器功能(Filter):你可以選擇你的動態(tài)給誰看,你可以選擇不看誰的動態(tài)(Hide),你也可以選擇優(yōu)先看到誰的動態(tài)(See first),當然你可以取消關注一些人或者公共主頁,將這些控制權交給用戶,一方面安撫了用戶被算法接管的不安,另一方面也是一項重要的數據來源。事實上,如今的過濾器已經復雜到大多數用戶都不會使用這些控制權。
“如何衡量用戶真的感興趣”這個問題也許遠遠沒有最終答案,為什么?因為人的非理性占據了絕大多數時候,而“不一致性”又是非理性的最重要表現,根據心情不同,用戶有不同的感興趣的標準,而且這些標準也許還是相互矛盾的。
NewsFeed 的配套設施
NewsFeed 存在的前提是要依賴用戶建立大量的社交聯系,這樣才會出現信息過載,因此 NewsFeed 的一個重要的配套設施就是“你可能感興趣的人”(People you may like)推薦系統。
這是一個我們在產品形式上比較熟悉的推薦系統,它是一套大規(guī)模矩陣分解算法,利用已有的協同矩陣為你推薦你可能想建立聯系的新Item,包括用戶、app、公共主頁等。
NewsFeed 還有另一個配套設施,也是它為什么每天能吸金幾千萬刀的原因:廣告系統。Facebook 的廣告形態(tài)多樣:
Suggested Page (你可能喜歡的公眾頁)
Page Post (公眾號帖子推廣)
Suggested App (你可能喜歡的應用)
Video Ads (視頻廣告)
現在,每一次 NewsFeed 調整算法都會引來廣告主們的抗議,他們都是在 FB 上擁有公共主頁的商業(yè)機構。
在以前,FB 鼓勵這些商業(yè)機構花錢投廣告增加粉絲,彼時的 NewsFeed 算法允許隨意發(fā)廣告(以原生的新鮮事形式)。而現在,FB 嚴格限制商業(yè)廣告和普通用戶的觸達。商業(yè)機構感覺自己被耍了,花錢買粉之后卻不能發(fā)原生廣告,無獨有偶,根據微博 CEO(@來去之間)在微博上的披露,現在微博企業(yè)號也是被限制博文達到粉絲 feed 次數的。
據國外某專門做 NewsFeed 推廣的公司追蹤,1000個公共主頁的50000條內容以原生方式觸達用戶的比例,從2012年16%降低到了2014年的6.51%,降了一倍還多,這當然也可能因為用戶平均關注的公共主頁增多了[13]。
世界上最遙遠的距離,就是:手握大把粉絲,卻不能隨心所欲地曝光自己的產品。
當然,所有的公共主頁們,不要灰心,并不是沒有辦法,NewsFeed 的廣告系統大門永遠向你們敞開。
對 NewsFeed 的展望
具體 NewsFeed 會怎么發(fā)展,無法預測,但是可以肯定的有三點:
NewsFeed 的算法會一直進化下去。
NewsFeed 團隊把人和算法的關系處理得更好,從數據驅動(Data-Driven)到數據啟示(Data-Informed)。
越來越多的 Feed 型產品會效仿 NewsFeed,加入到興趣feed的潮流中去。
? 查看全部
2004年,Facebook 問世,兩年后的9月份,NewsFeed 問世,同時問世的還有MiniFeed(個人動態(tài))。今年是 NewsFeed 上線十周年了,這10年里,Facebook 是怎么一步一步把 NewsFeed 打造成了日收入幾千萬美金的現金牛的?不管你對這充滿銅臭的問題感不感興趣,反正我很感興趣。
今天我們都已經習慣了把照片、文字等內容主動分享給好友,但是當時 Facebook 上線了這個功能時,引起了廣泛的爭議,焦點就是“隱私”問題,用戶認為我發(fā)的動態(tài)怎么能讓別人看見呢[1]?用戶一直不停質疑和抗議,又忍不住繼續(xù)使用,Facebook 就這樣在爭議聲中增加了最初的隱私控制,比如隱藏自己的動態(tài),而 NewsFeed 就這樣堅持了下來。看來,小扎真是一個撩妹高手,看穿了用戶們“嘴上說不要,身體卻誠實”的內在。
隨著用戶們漸漸地愛上了瀏覽好友的分(xuan)享(yao)了,2009年,Facebook 加上了贊(like)功能(FriendFeed 在2007年發(fā)明了贊按鈕,FriendFeed 后來于2009年被 Facebook 收購,并將贊這個功能整合進來),開始按照熱門程度對 Feed 重排序,不出意外,這又引起了用戶們的反抗,因為大家已經習慣按照時間順序閱讀。
伴隨這么多爭議,為什么 Facebook 一直堅持做興趣feed?從數據上看,平均每個用戶每天待看的新鮮事有1500條之多,但平均每個用戶每天只能閱讀300條;從商業(yè)角度,將 Feed 排序交給上帝的做法,非常不利于商業(yè)化且有損用戶體驗,公共主頁可以使用很多伎倆吸引用戶關注,然后肆無忌憚發(fā)廣告。
10年來,NewsFeed 有數不清的改進,甚至每天線上會同時部署很多算法版本進行AB測試。但 EdgeRank 是這條優(yōu)化迭代之路上的一個標志性建筑。我們可以將 NewsFeed 排序策略按照 EdgeRank 分為 PreEdgeRank 時代、InEdgeRank 時代、PostEdgeRank 時代。
EdgeRank 算法
EdgeRank,顧名思義,就是對邊(Edge)進行排序(Rank)。
每一個朋友的每一個操作(Action)都可能以新鮮事(News)的方式呈現在用戶面前,比如朋友發(fā)布了一條新鮮事,朋友贊了朋友的朋友一條新鮮事,朋友評論了朋友的朋友一條新鮮事,朋友給自己的照片加了一個標簽,等等。稍微用腳后跟想一想就知道,按照這樣羅列的話,每個用戶得看多少新鮮事?于是 FB 就想在一條動態(tài)呈現給一個用戶之前,先預估一下這個用戶對這條新鮮事感興趣程度。在 FB 的定義下,一個 Action 就是一個 Edge,所以這套量化興趣的算法就叫做 EdgeRank。
別看今天 Facebook 各種高大上,又是深度學習又是人工智能,要知道,在 EdgeRank 提出之前,FB 也是有過刀耕火種時代的,FB 的首席產品官 Chris Cox 談及早期 NewsFeed 是這樣說的:
“In the beginning, News Feed ranking was turning knobs. Turn up photos a little bit, turn down platform stories a little bit.”(最初,NewsFeed 排序就是在主觀拍腦袋,給照片加點權重,給平臺動態(tài)消息降點權重)
“a photo might be worth 5 points, while joining a group was worth 1 point” (把照片權重定為5,把加群權重定為1)
國內算法工程師們聽到這些,想必都要會心地笑了:原來 FB 也是從這個時代走過來的。但 Facebook 不同的是,這只是暫時的情形,他們已經走到更高級的階段了。
Serkan Piantino 在2010年左右領導并開發(fā)了第一版 EdgeRank 算法。下面說說大名鼎鼎的 EdgeRank 是怎么回事。
EdgeRank 主要有三個因素在起作用:
親密度(Affinity Score)
邊的權重(Edge Weight)
新鮮程度(Time Decay)
想象一條內容誕生后,途經什么路徑流動到你的面前?
首先經你的一個朋友(或者你的關注源)的之手產生了一條新鮮事(他發(fā)布、贊、加標簽這些產生了新鮮事);
然后經過你這個朋友(或者你的關注源)的介紹,到了你家門口,你一開門(登錄)就可能看見它;
內容不多時,開門一個一個寒暄可能還行,它們也等得起,也無所謂先來后到,內容太多時,就得考慮個先來后到了。
這三個步驟,就大致刻畫了 EdgeRank 的思想了,其實還是很簡單直接的。
親密度對應了第二個步驟背后的思想,那么多人介紹過來,我們當然要優(yōu)先照顧更“喜歡”的人了,親密度的量化要考慮平常里你和這個朋友“走動”是否頻繁,連接是否緊密。主要考慮下面幾點:
你們連接的強度,點贊之交,還是評論之交,或是私信之交,連接方式不同,強度就不同;
你們連接的頻繁程度,一日百贊,還是百日一贊,差別也很大;
你們有多久沒有建立連接了,一年沒有了,關系自然就更淡了;
親密度是單向的,也就是說你對朋友的親密度,和朋友對你的親密度可能不一樣哦。
你看,看似神秘的 EdgeRank 算法,其實跟大家不太待見的雞湯居然意思是一樣的,是不是覺得它竟然如此平易近人?
邊的權重也很直接,其實它反映了產生一條新鮮事的成本,成本越高的,權重越大。點贊、評論、發(fā)一條文字、發(fā)一張照片、發(fā)一個鏈接,背后用戶付出的成本不一樣,反應在邊的權重上也就不一樣。顯然,你點個贊的成本,和你發(fā)布一條新鮮事的成本差別很多。
最后,新鮮程度,也是一個符合直覺的自然假設:NewsFeed 總是青睞 New 一些的 Feed,新的新鮮事總體上更可能得到用戶的臨幸。FB 用了一個類似指數衰減的函數來量化動態(tài)的新舊程度。
三個分數,最終用相乘的方式共同作用于每一條新鮮事的分數,用于排序和篩選。
這個排序方法的確是很簡單,基本上只考慮了社交方面的因素,而沒有考慮太多內容本身對用戶吸引力。
從公開的資料看 EdgeRank,并不是什么高深的算法,它只是量化了三個主要因素,然后主觀地相乘,而沒有任何目標優(yōu)化思想在背后,根據 Facebook 披露的消息看,早期的 EdgeRank 的確沒有引入機器學習,所以根本稱不上是智能的算法。
為什么 EdgeRank 這么有名?因為它是在F8開發(fā)者大會上公開介紹過的,經過一知半解的媒體渲染,變成了一個神秘高深的存在。
后 EdgeRank 時代
2011年之后,Facebook 內部就不再提 EdgeRank 算法了,因為用戶數和廣告主的飛增,導致 NewsFeed 的排序算法必須要更上一層樓。如今月活躍超過10億用戶,約2000萬的公共主頁,移動設備貢獻了大多數流量,復雜的上下文因素,必須引入機器學習才能 Hold 住整個場面。
在原來 EdgeRank 的基礎上,更加細致地定義了不同層級的親密度。用深度神經網絡理解圖片內容和文字內容,從而可以知道相片中的物體是不是用戶感興趣的,可以知道新鮮事的討論話題。隨著產品迭代,也加入了更多產品特征,諸如閱讀時間長短、視頻內容、鏈接內容等,取關、隱藏一個源。前前后后一共考慮了10萬+的變量(模型的特征空間應該會更高),如果還按照原來的方式去調節(jié)權重,顯然既不科學又很低效。
從 Facebook 的機器學習應用博客頁面可以看到,2010年之后就開始逐漸有機器學習方面的文章出現了。
相關資料顯示,2011年之后的 NewsFeed 排序算法,全面轉向了機器學習,用優(yōu)化理論來決定每個因素的權重,將人從繁雜的策略量化中解放出來。
在被機器學習接管后的 NewsFeed,很多地方都更加細致。
用機器學習預估新鮮事的質量。通過構造了一份問卷調查,訪問了若干用戶來收集數據,用收集的數據構建了一個機器學習模型,用于 NewsFeed 排序時預測一條動態(tài)的質量,將預測的質量分數作為最終排序的一個特征。用樹模型構造離散特征,結合最常見的LR模型預估廣告點擊率。
除了全面轉向機器學習之外,NewsFeed 團隊也在重新思考人和算法的關系。他們要關心的是到底“如何把用戶真正最關心的找出來”,而不僅僅是“提高點擊率”。Facebook 一直是數據驅動的,也是他們能夠在爭議中把 NewsFeed 堅持下來的信念來源,而是不是唯數據馬首是瞻,團隊內部有很多思考,也有很多變化。
僅舉幾例:
團隊發(fā)現有85%的隱藏新鮮事操作來自5%的人,經過與這些用戶溝通才發(fā)現,原來這5%的人把“隱藏”當作郵件里的“標記已讀”了,對喜不喜歡的新鮮事只要看過就會點擊隱藏。
對于悲傷的事情,用戶可能關心但不會點贊的。
對于有些點贊,用戶可能并不是真的感興趣,只是“點贊狂魔”發(fā)狂而已。
用戶閱讀一篇長帖子,讀到一半不讀了,也并不能說明他對這篇帖子不感興趣。
這些 case,都讓他們開始關注到機器學習和數據的局限。
于是,在算法團隊之外,Facebook 搭建了一個遍布全球的人肉評測小組。人肉評測小組不是簡單地對算法篩選結果進行喜歡/不喜歡的標注,而是會非常深入地闡述為什么喜歡/不喜歡算法篩選結果,而且會與工程師詳細交流評測結果,因為這種人肉評測方式可以有效地拆穿數據說謊,讓產品遠離一味追求提高數據指標的怪圈。
除此之外,產品上還加強了過濾器功能(Filter):你可以選擇你的動態(tài)給誰看,你可以選擇不看誰的動態(tài)(Hide),你也可以選擇優(yōu)先看到誰的動態(tài)(See first),當然你可以取消關注一些人或者公共主頁,將這些控制權交給用戶,一方面安撫了用戶被算法接管的不安,另一方面也是一項重要的數據來源。事實上,如今的過濾器已經復雜到大多數用戶都不會使用這些控制權。
“如何衡量用戶真的感興趣”這個問題也許遠遠沒有最終答案,為什么?因為人的非理性占據了絕大多數時候,而“不一致性”又是非理性的最重要表現,根據心情不同,用戶有不同的感興趣的標準,而且這些標準也許還是相互矛盾的。
NewsFeed 的配套設施
NewsFeed 存在的前提是要依賴用戶建立大量的社交聯系,這樣才會出現信息過載,因此 NewsFeed 的一個重要的配套設施就是“你可能感興趣的人”(People you may like)推薦系統。
這是一個我們在產品形式上比較熟悉的推薦系統,它是一套大規(guī)模矩陣分解算法,利用已有的協同矩陣為你推薦你可能想建立聯系的新Item,包括用戶、app、公共主頁等。
NewsFeed 還有另一個配套設施,也是它為什么每天能吸金幾千萬刀的原因:廣告系統。Facebook 的廣告形態(tài)多樣:
Suggested Page (你可能喜歡的公眾頁)
Page Post (公眾號帖子推廣)
Suggested App (你可能喜歡的應用)
Video Ads (視頻廣告)
現在,每一次 NewsFeed 調整算法都會引來廣告主們的抗議,他們都是在 FB 上擁有公共主頁的商業(yè)機構。
在以前,FB 鼓勵這些商業(yè)機構花錢投廣告增加粉絲,彼時的 NewsFeed 算法允許隨意發(fā)廣告(以原生的新鮮事形式)。而現在,FB 嚴格限制商業(yè)廣告和普通用戶的觸達。商業(yè)機構感覺自己被耍了,花錢買粉之后卻不能發(fā)原生廣告,無獨有偶,根據微博 CEO(@來去之間)在微博上的披露,現在微博企業(yè)號也是被限制博文達到粉絲 feed 次數的。
據國外某專門做 NewsFeed 推廣的公司追蹤,1000個公共主頁的50000條內容以原生方式觸達用戶的比例,從2012年16%降低到了2014年的6.51%,降了一倍還多,這當然也可能因為用戶平均關注的公共主頁增多了[13]。
世界上最遙遠的距離,就是:手握大把粉絲,卻不能隨心所欲地曝光自己的產品。
當然,所有的公共主頁們,不要灰心,并不是沒有辦法,NewsFeed 的廣告系統大門永遠向你們敞開。
對 NewsFeed 的展望
具體 NewsFeed 會怎么發(fā)展,無法預測,但是可以肯定的有三點:
NewsFeed 的算法會一直進化下去。
NewsFeed 團隊把人和算法的關系處理得更好,從數據驅動(Data-Driven)到數據啟示(Data-Informed)。
越來越多的 Feed 型產品會效仿 NewsFeed,加入到興趣feed的潮流中去。
? 查看全部
NewsFeed 怎么來的
2004年,Facebook 問世,兩年后的9月份,NewsFeed 問世,同時問世的還有MiniFeed(個人動態(tài))。今年是 NewsFeed 上線十周年了,這10年里,Facebook 是怎么一步一步把 NewsFeed 打造成了日收入幾千萬美金的現金牛的?不管你對這充滿銅臭的問題感不感興趣,反正我很感興趣。
今天我們都已經習慣了把照片、文字等內容主動分享給好友,但是當時 Facebook 上線了這個功能時,引起了廣泛的爭議,焦點就是“隱私”問題,用戶認為我發(fā)的動態(tài)怎么能讓別人看見呢[1]?用戶一直不停質疑和抗議,又忍不住繼續(xù)使用,Facebook 就這樣在爭議聲中增加了最初的隱私控制,比如隱藏自己的動態(tài),而 NewsFeed 就這樣堅持了下來??磥?,小扎真是一個撩妹高手,看穿了用戶們“嘴上說不要,身體卻誠實”的內在。
隨著用戶們漸漸地愛上了瀏覽好友的分(xuan)享(yao)了,2009年,Facebook 加上了贊(like)功能(FriendFeed 在2007年發(fā)明了贊按鈕,FriendFeed 后來于2009年被 Facebook 收購,并將贊這個功能整合進來),開始按照熱門程度對 Feed 重排序,不出意外,這又引起了用戶們的反抗,因為大家已經習慣按照時間順序閱讀。
伴隨這么多爭議,為什么 Facebook 一直堅持做興趣feed?從數據上看,平均每個用戶每天待看的新鮮事有1500條之多,但平均每個用戶每天只能閱讀300條;從商業(yè)角度,將 Feed 排序交給上帝的做法,非常不利于商業(yè)化且有損用戶體驗,公共主頁可以使用很多伎倆吸引用戶關注,然后肆無忌憚發(fā)廣告。
10年來,NewsFeed 有數不清的改進,甚至每天線上會同時部署很多算法版本進行AB測試。但 EdgeRank 是這條優(yōu)化迭代之路上的一個標志性建筑。我們可以將 NewsFeed 排序策略按照 EdgeRank 分為 PreEdgeRank 時代、InEdgeRank 時代、PostEdgeRank 時代。
EdgeRank 算法
EdgeRank,顧名思義,就是對邊(Edge)進行排序(Rank)。
每一個朋友的每一個操作(Action)都可能以新鮮事(News)的方式呈現在用戶面前,比如朋友發(fā)布了一條新鮮事,朋友贊了朋友的朋友一條新鮮事,朋友評論了朋友的朋友一條新鮮事,朋友給自己的照片加了一個標簽,等等。稍微用腳后跟想一想就知道,按照這樣羅列的話,每個用戶得看多少新鮮事?于是 FB 就想在一條動態(tài)呈現給一個用戶之前,先預估一下這個用戶對這條新鮮事感興趣程度。在 FB 的定義下,一個 Action 就是一個 Edge,所以這套量化興趣的算法就叫做 EdgeRank。
別看今天 Facebook 各種高大上,又是深度學習又是人工智能,要知道,在 EdgeRank 提出之前,FB 也是有過刀耕火種時代的,FB 的首席產品官 Chris Cox 談及早期 NewsFeed 是這樣說的:
“In the beginning, News Feed ranking was turning knobs. Turn up photos a little bit, turn down platform stories a little bit.”(最初,NewsFeed 排序就是在主觀拍腦袋,給照片加點權重,給平臺動態(tài)消息降點權重)
“a photo might be worth 5 points, while joining a group was worth 1 point” (把照片權重定為5,把加群權重定為1)
國內算法工程師們聽到這些,想必都要會心地笑了:原來 FB 也是從這個時代走過來的。但 Facebook 不同的是,這只是暫時的情形,他們已經走到更高級的階段了。
Serkan Piantino 在2010年左右領導并開發(fā)了第一版 EdgeRank 算法。下面說說大名鼎鼎的 EdgeRank 是怎么回事。
EdgeRank 主要有三個因素在起作用:
親密度(Affinity Score)
邊的權重(Edge Weight)
新鮮程度(Time Decay)
想象一條內容誕生后,途經什么路徑流動到你的面前?
首先經你的一個朋友(或者你的關注源)的之手產生了一條新鮮事(他發(fā)布、贊、加標簽這些產生了新鮮事);
然后經過你這個朋友(或者你的關注源)的介紹,到了你家門口,你一開門(登錄)就可能看見它;
內容不多時,開門一個一個寒暄可能還行,它們也等得起,也無所謂先來后到,內容太多時,就得考慮個先來后到了。
這三個步驟,就大致刻畫了 EdgeRank 的思想了,其實還是很簡單直接的。
親密度對應了第二個步驟背后的思想,那么多人介紹過來,我們當然要優(yōu)先照顧更“喜歡”的人了,親密度的量化要考慮平常里你和這個朋友“走動”是否頻繁,連接是否緊密。主要考慮下面幾點:
你們連接的強度,點贊之交,還是評論之交,或是私信之交,連接方式不同,強度就不同;
你們連接的頻繁程度,一日百贊,還是百日一贊,差別也很大;
你們有多久沒有建立連接了,一年沒有了,關系自然就更淡了;
親密度是單向的,也就是說你對朋友的親密度,和朋友對你的親密度可能不一樣哦。
你看,看似神秘的 EdgeRank 算法,其實跟大家不太待見的雞湯居然意思是一樣的,是不是覺得它竟然如此平易近人?
邊的權重也很直接,其實它反映了產生一條新鮮事的成本,成本越高的,權重越大。點贊、評論、發(fā)一條文字、發(fā)一張照片、發(fā)一個鏈接,背后用戶付出的成本不一樣,反應在邊的權重上也就不一樣。顯然,你點個贊的成本,和你發(fā)布一條新鮮事的成本差別很多。
最后,新鮮程度,也是一個符合直覺的自然假設:NewsFeed 總是青睞 New 一些的 Feed,新的新鮮事總體上更可能得到用戶的臨幸。FB 用了一個類似指數衰減的函數來量化動態(tài)的新舊程度。
三個分數,最終用相乘的方式共同作用于每一條新鮮事的分數,用于排序和篩選。
這個排序方法的確是很簡單,基本上只考慮了社交方面的因素,而沒有考慮太多內容本身對用戶吸引力。
從公開的資料看 EdgeRank,并不是什么高深的算法,它只是量化了三個主要因素,然后主觀地相乘,而沒有任何目標優(yōu)化思想在背后,根據 Facebook 披露的消息看,早期的 EdgeRank 的確沒有引入機器學習,所以根本稱不上是智能的算法。
為什么 EdgeRank 這么有名?因為它是在F8開發(fā)者大會上公開介紹過的,經過一知半解的媒體渲染,變成了一個神秘高深的存在。
后 EdgeRank 時代
2011年之后,Facebook 內部就不再提 EdgeRank 算法了,因為用戶數和廣告主的飛增,導致 NewsFeed 的排序算法必須要更上一層樓。如今月活躍超過10億用戶,約2000萬的公共主頁,移動設備貢獻了大多數流量,復雜的上下文因素,必須引入機器學習才能 Hold 住整個場面。
在原來 EdgeRank 的基礎上,更加細致地定義了不同層級的親密度。用深度神經網絡理解圖片內容和文字內容,從而可以知道相片中的物體是不是用戶感興趣的,可以知道新鮮事的討論話題。隨著產品迭代,也加入了更多產品特征,諸如閱讀時間長短、視頻內容、鏈接內容等,取關、隱藏一個源。前前后后一共考慮了10萬+的變量(模型的特征空間應該會更高),如果還按照原來的方式去調節(jié)權重,顯然既不科學又很低效。
從 Facebook 的機器學習應用博客頁面可以看到,2010年之后就開始逐漸有機器學習方面的文章出現了。
相關資料顯示,2011年之后的 NewsFeed 排序算法,全面轉向了機器學習,用優(yōu)化理論來決定每個因素的權重,將人從繁雜的策略量化中解放出來。
在被機器學習接管后的 NewsFeed,很多地方都更加細致。
用機器學習預估新鮮事的質量。通過構造了一份問卷調查,訪問了若干用戶來收集數據,用收集的數據構建了一個機器學習模型,用于 NewsFeed 排序時預測一條動態(tài)的質量,將預測的質量分數作為最終排序的一個特征。用樹模型構造離散特征,結合最常見的LR模型預估廣告點擊率。
除了全面轉向機器學習之外,NewsFeed 團隊也在重新思考人和算法的關系。他們要關心的是到底“如何把用戶真正最關心的找出來”,而不僅僅是“提高點擊率”。Facebook 一直是數據驅動的,也是他們能夠在爭議中把 NewsFeed 堅持下來的信念來源,而是不是唯數據馬首是瞻,團隊內部有很多思考,也有很多變化。
僅舉幾例:
團隊發(fā)現有85%的隱藏新鮮事操作來自5%的人,經過與這些用戶溝通才發(fā)現,原來這5%的人把“隱藏”當作郵件里的“標記已讀”了,對喜不喜歡的新鮮事只要看過就會點擊隱藏。
對于悲傷的事情,用戶可能關心但不會點贊的。
對于有些點贊,用戶可能并不是真的感興趣,只是“點贊狂魔”發(fā)狂而已。
用戶閱讀一篇長帖子,讀到一半不讀了,也并不能說明他對這篇帖子不感興趣。
這些 case,都讓他們開始關注到機器學習和數據的局限。
于是,在算法團隊之外,Facebook 搭建了一個遍布全球的人肉評測小組。人肉評測小組不是簡單地對算法篩選結果進行喜歡/不喜歡的標注,而是會非常深入地闡述為什么喜歡/不喜歡算法篩選結果,而且會與工程師詳細交流評測結果,因為這種人肉評測方式可以有效地拆穿數據說謊,讓產品遠離一味追求提高數據指標的怪圈。
除此之外,產品上還加強了過濾器功能(Filter):你可以選擇你的動態(tài)給誰看,你可以選擇不看誰的動態(tài)(Hide),你也可以選擇優(yōu)先看到誰的動態(tài)(See first),當然你可以取消關注一些人或者公共主頁,將這些控制權交給用戶,一方面安撫了用戶被算法接管的不安,另一方面也是一項重要的數據來源。事實上,如今的過濾器已經復雜到大多數用戶都不會使用這些控制權。
“如何衡量用戶真的感興趣”這個問題也許遠遠沒有最終答案,為什么?因為人的非理性占據了絕大多數時候,而“不一致性”又是非理性的最重要表現,根據心情不同,用戶有不同的感興趣的標準,而且這些標準也許還是相互矛盾的。
NewsFeed 的配套設施
NewsFeed 存在的前提是要依賴用戶建立大量的社交聯系,這樣才會出現信息過載,因此 NewsFeed 的一個重要的配套設施就是“你可能感興趣的人”(People you may like)推薦系統。
這是一個我們在產品形式上比較熟悉的推薦系統,它是一套大規(guī)模矩陣分解算法,利用已有的協同矩陣為你推薦你可能想建立聯系的新Item,包括用戶、app、公共主頁等。
NewsFeed 還有另一個配套設施,也是它為什么每天能吸金幾千萬刀的原因:廣告系統。Facebook 的廣告形態(tài)多樣:
Suggested Page (你可能喜歡的公眾頁)
Page Post (公眾號帖子推廣)
Suggested App (你可能喜歡的應用)
Video Ads (視頻廣告)
現在,每一次 NewsFeed 調整算法都會引來廣告主們的抗議,他們都是在 FB 上擁有公共主頁的商業(yè)機構。
在以前,FB 鼓勵這些商業(yè)機構花錢投廣告增加粉絲,彼時的 NewsFeed 算法允許隨意發(fā)廣告(以原生的新鮮事形式)。而現在,FB 嚴格限制商業(yè)廣告和普通用戶的觸達。商業(yè)機構感覺自己被耍了,花錢買粉之后卻不能發(fā)原生廣告,無獨有偶,根據微博 CEO(@來去之間)在微博上的披露,現在微博企業(yè)號也是被限制博文達到粉絲 feed 次數的。
據國外某專門做 NewsFeed 推廣的公司追蹤,1000個公共主頁的50000條內容以原生方式觸達用戶的比例,從2012年16%降低到了2014年的6.51%,降了一倍還多,這當然也可能因為用戶平均關注的公共主頁增多了[13]。
世界上最遙遠的距離,就是:手握大把粉絲,卻不能隨心所欲地曝光自己的產品。
當然,所有的公共主頁們,不要灰心,并不是沒有辦法,NewsFeed 的廣告系統大門永遠向你們敞開。
對 NewsFeed 的展望
具體 NewsFeed 會怎么發(fā)展,無法預測,但是可以肯定的有三點:
NewsFeed 的算法會一直進化下去。
NewsFeed 團隊把人和算法的關系處理得更好,從數據驅動(Data-Driven)到數據啟示(Data-Informed)。
越來越多的 Feed 型產品會效仿 NewsFeed,加入到興趣feed的潮流中去。
?
2004年,Facebook 問世,兩年后的9月份,NewsFeed 問世,同時問世的還有MiniFeed(個人動態(tài))。今年是 NewsFeed 上線十周年了,這10年里,Facebook 是怎么一步一步把 NewsFeed 打造成了日收入幾千萬美金的現金牛的?不管你對這充滿銅臭的問題感不感興趣,反正我很感興趣。
今天我們都已經習慣了把照片、文字等內容主動分享給好友,但是當時 Facebook 上線了這個功能時,引起了廣泛的爭議,焦點就是“隱私”問題,用戶認為我發(fā)的動態(tài)怎么能讓別人看見呢[1]?用戶一直不停質疑和抗議,又忍不住繼續(xù)使用,Facebook 就這樣在爭議聲中增加了最初的隱私控制,比如隱藏自己的動態(tài),而 NewsFeed 就這樣堅持了下來??磥?,小扎真是一個撩妹高手,看穿了用戶們“嘴上說不要,身體卻誠實”的內在。
隨著用戶們漸漸地愛上了瀏覽好友的分(xuan)享(yao)了,2009年,Facebook 加上了贊(like)功能(FriendFeed 在2007年發(fā)明了贊按鈕,FriendFeed 后來于2009年被 Facebook 收購,并將贊這個功能整合進來),開始按照熱門程度對 Feed 重排序,不出意外,這又引起了用戶們的反抗,因為大家已經習慣按照時間順序閱讀。
伴隨這么多爭議,為什么 Facebook 一直堅持做興趣feed?從數據上看,平均每個用戶每天待看的新鮮事有1500條之多,但平均每個用戶每天只能閱讀300條;從商業(yè)角度,將 Feed 排序交給上帝的做法,非常不利于商業(yè)化且有損用戶體驗,公共主頁可以使用很多伎倆吸引用戶關注,然后肆無忌憚發(fā)廣告。
10年來,NewsFeed 有數不清的改進,甚至每天線上會同時部署很多算法版本進行AB測試。但 EdgeRank 是這條優(yōu)化迭代之路上的一個標志性建筑。我們可以將 NewsFeed 排序策略按照 EdgeRank 分為 PreEdgeRank 時代、InEdgeRank 時代、PostEdgeRank 時代。
EdgeRank 算法
EdgeRank,顧名思義,就是對邊(Edge)進行排序(Rank)。
每一個朋友的每一個操作(Action)都可能以新鮮事(News)的方式呈現在用戶面前,比如朋友發(fā)布了一條新鮮事,朋友贊了朋友的朋友一條新鮮事,朋友評論了朋友的朋友一條新鮮事,朋友給自己的照片加了一個標簽,等等。稍微用腳后跟想一想就知道,按照這樣羅列的話,每個用戶得看多少新鮮事?于是 FB 就想在一條動態(tài)呈現給一個用戶之前,先預估一下這個用戶對這條新鮮事感興趣程度。在 FB 的定義下,一個 Action 就是一個 Edge,所以這套量化興趣的算法就叫做 EdgeRank。
別看今天 Facebook 各種高大上,又是深度學習又是人工智能,要知道,在 EdgeRank 提出之前,FB 也是有過刀耕火種時代的,FB 的首席產品官 Chris Cox 談及早期 NewsFeed 是這樣說的:
“In the beginning, News Feed ranking was turning knobs. Turn up photos a little bit, turn down platform stories a little bit.”(最初,NewsFeed 排序就是在主觀拍腦袋,給照片加點權重,給平臺動態(tài)消息降點權重)
“a photo might be worth 5 points, while joining a group was worth 1 point” (把照片權重定為5,把加群權重定為1)
國內算法工程師們聽到這些,想必都要會心地笑了:原來 FB 也是從這個時代走過來的。但 Facebook 不同的是,這只是暫時的情形,他們已經走到更高級的階段了。
Serkan Piantino 在2010年左右領導并開發(fā)了第一版 EdgeRank 算法。下面說說大名鼎鼎的 EdgeRank 是怎么回事。
EdgeRank 主要有三個因素在起作用:
親密度(Affinity Score)
邊的權重(Edge Weight)
新鮮程度(Time Decay)
想象一條內容誕生后,途經什么路徑流動到你的面前?
首先經你的一個朋友(或者你的關注源)的之手產生了一條新鮮事(他發(fā)布、贊、加標簽這些產生了新鮮事);
然后經過你這個朋友(或者你的關注源)的介紹,到了你家門口,你一開門(登錄)就可能看見它;
內容不多時,開門一個一個寒暄可能還行,它們也等得起,也無所謂先來后到,內容太多時,就得考慮個先來后到了。
這三個步驟,就大致刻畫了 EdgeRank 的思想了,其實還是很簡單直接的。
親密度對應了第二個步驟背后的思想,那么多人介紹過來,我們當然要優(yōu)先照顧更“喜歡”的人了,親密度的量化要考慮平常里你和這個朋友“走動”是否頻繁,連接是否緊密。主要考慮下面幾點:
你們連接的強度,點贊之交,還是評論之交,或是私信之交,連接方式不同,強度就不同;
你們連接的頻繁程度,一日百贊,還是百日一贊,差別也很大;
你們有多久沒有建立連接了,一年沒有了,關系自然就更淡了;
親密度是單向的,也就是說你對朋友的親密度,和朋友對你的親密度可能不一樣哦。
你看,看似神秘的 EdgeRank 算法,其實跟大家不太待見的雞湯居然意思是一樣的,是不是覺得它竟然如此平易近人?
邊的權重也很直接,其實它反映了產生一條新鮮事的成本,成本越高的,權重越大。點贊、評論、發(fā)一條文字、發(fā)一張照片、發(fā)一個鏈接,背后用戶付出的成本不一樣,反應在邊的權重上也就不一樣。顯然,你點個贊的成本,和你發(fā)布一條新鮮事的成本差別很多。
最后,新鮮程度,也是一個符合直覺的自然假設:NewsFeed 總是青睞 New 一些的 Feed,新的新鮮事總體上更可能得到用戶的臨幸。FB 用了一個類似指數衰減的函數來量化動態(tài)的新舊程度。
三個分數,最終用相乘的方式共同作用于每一條新鮮事的分數,用于排序和篩選。
這個排序方法的確是很簡單,基本上只考慮了社交方面的因素,而沒有考慮太多內容本身對用戶吸引力。
從公開的資料看 EdgeRank,并不是什么高深的算法,它只是量化了三個主要因素,然后主觀地相乘,而沒有任何目標優(yōu)化思想在背后,根據 Facebook 披露的消息看,早期的 EdgeRank 的確沒有引入機器學習,所以根本稱不上是智能的算法。
為什么 EdgeRank 這么有名?因為它是在F8開發(fā)者大會上公開介紹過的,經過一知半解的媒體渲染,變成了一個神秘高深的存在。
后 EdgeRank 時代
2011年之后,Facebook 內部就不再提 EdgeRank 算法了,因為用戶數和廣告主的飛增,導致 NewsFeed 的排序算法必須要更上一層樓。如今月活躍超過10億用戶,約2000萬的公共主頁,移動設備貢獻了大多數流量,復雜的上下文因素,必須引入機器學習才能 Hold 住整個場面。
在原來 EdgeRank 的基礎上,更加細致地定義了不同層級的親密度。用深度神經網絡理解圖片內容和文字內容,從而可以知道相片中的物體是不是用戶感興趣的,可以知道新鮮事的討論話題。隨著產品迭代,也加入了更多產品特征,諸如閱讀時間長短、視頻內容、鏈接內容等,取關、隱藏一個源。前前后后一共考慮了10萬+的變量(模型的特征空間應該會更高),如果還按照原來的方式去調節(jié)權重,顯然既不科學又很低效。
從 Facebook 的機器學習應用博客頁面可以看到,2010年之后就開始逐漸有機器學習方面的文章出現了。
相關資料顯示,2011年之后的 NewsFeed 排序算法,全面轉向了機器學習,用優(yōu)化理論來決定每個因素的權重,將人從繁雜的策略量化中解放出來。
在被機器學習接管后的 NewsFeed,很多地方都更加細致。
用機器學習預估新鮮事的質量。通過構造了一份問卷調查,訪問了若干用戶來收集數據,用收集的數據構建了一個機器學習模型,用于 NewsFeed 排序時預測一條動態(tài)的質量,將預測的質量分數作為最終排序的一個特征。用樹模型構造離散特征,結合最常見的LR模型預估廣告點擊率。
除了全面轉向機器學習之外,NewsFeed 團隊也在重新思考人和算法的關系。他們要關心的是到底“如何把用戶真正最關心的找出來”,而不僅僅是“提高點擊率”。Facebook 一直是數據驅動的,也是他們能夠在爭議中把 NewsFeed 堅持下來的信念來源,而是不是唯數據馬首是瞻,團隊內部有很多思考,也有很多變化。
僅舉幾例:
團隊發(fā)現有85%的隱藏新鮮事操作來自5%的人,經過與這些用戶溝通才發(fā)現,原來這5%的人把“隱藏”當作郵件里的“標記已讀”了,對喜不喜歡的新鮮事只要看過就會點擊隱藏。
對于悲傷的事情,用戶可能關心但不會點贊的。
對于有些點贊,用戶可能并不是真的感興趣,只是“點贊狂魔”發(fā)狂而已。
用戶閱讀一篇長帖子,讀到一半不讀了,也并不能說明他對這篇帖子不感興趣。
這些 case,都讓他們開始關注到機器學習和數據的局限。
于是,在算法團隊之外,Facebook 搭建了一個遍布全球的人肉評測小組。人肉評測小組不是簡單地對算法篩選結果進行喜歡/不喜歡的標注,而是會非常深入地闡述為什么喜歡/不喜歡算法篩選結果,而且會與工程師詳細交流評測結果,因為這種人肉評測方式可以有效地拆穿數據說謊,讓產品遠離一味追求提高數據指標的怪圈。
除此之外,產品上還加強了過濾器功能(Filter):你可以選擇你的動態(tài)給誰看,你可以選擇不看誰的動態(tài)(Hide),你也可以選擇優(yōu)先看到誰的動態(tài)(See first),當然你可以取消關注一些人或者公共主頁,將這些控制權交給用戶,一方面安撫了用戶被算法接管的不安,另一方面也是一項重要的數據來源。事實上,如今的過濾器已經復雜到大多數用戶都不會使用這些控制權。
“如何衡量用戶真的感興趣”這個問題也許遠遠沒有最終答案,為什么?因為人的非理性占據了絕大多數時候,而“不一致性”又是非理性的最重要表現,根據心情不同,用戶有不同的感興趣的標準,而且這些標準也許還是相互矛盾的。
NewsFeed 的配套設施
NewsFeed 存在的前提是要依賴用戶建立大量的社交聯系,這樣才會出現信息過載,因此 NewsFeed 的一個重要的配套設施就是“你可能感興趣的人”(People you may like)推薦系統。
這是一個我們在產品形式上比較熟悉的推薦系統,它是一套大規(guī)模矩陣分解算法,利用已有的協同矩陣為你推薦你可能想建立聯系的新Item,包括用戶、app、公共主頁等。
NewsFeed 還有另一個配套設施,也是它為什么每天能吸金幾千萬刀的原因:廣告系統。Facebook 的廣告形態(tài)多樣:
Suggested Page (你可能喜歡的公眾頁)
Page Post (公眾號帖子推廣)
Suggested App (你可能喜歡的應用)
Video Ads (視頻廣告)
現在,每一次 NewsFeed 調整算法都會引來廣告主們的抗議,他們都是在 FB 上擁有公共主頁的商業(yè)機構。
在以前,FB 鼓勵這些商業(yè)機構花錢投廣告增加粉絲,彼時的 NewsFeed 算法允許隨意發(fā)廣告(以原生的新鮮事形式)。而現在,FB 嚴格限制商業(yè)廣告和普通用戶的觸達。商業(yè)機構感覺自己被耍了,花錢買粉之后卻不能發(fā)原生廣告,無獨有偶,根據微博 CEO(@來去之間)在微博上的披露,現在微博企業(yè)號也是被限制博文達到粉絲 feed 次數的。
據國外某專門做 NewsFeed 推廣的公司追蹤,1000個公共主頁的50000條內容以原生方式觸達用戶的比例,從2012年16%降低到了2014年的6.51%,降了一倍還多,這當然也可能因為用戶平均關注的公共主頁增多了[13]。
世界上最遙遠的距離,就是:手握大把粉絲,卻不能隨心所欲地曝光自己的產品。
當然,所有的公共主頁們,不要灰心,并不是沒有辦法,NewsFeed 的廣告系統大門永遠向你們敞開。
對 NewsFeed 的展望
具體 NewsFeed 會怎么發(fā)展,無法預測,但是可以肯定的有三點:
NewsFeed 的算法會一直進化下去。
NewsFeed 團隊把人和算法的關系處理得更好,從數據驅動(Data-Driven)到數據啟示(Data-Informed)。
越來越多的 Feed 型產品會效仿 NewsFeed,加入到興趣feed的潮流中去。
?