生活在互聯(lián)網(wǎng)世界的人,都曾或多或少地瀏覽過在許多國家仍受管制的色情網(wǎng)站。我們很難洞察這類網(wǎng)站的發(fā)展?fàn)顩r,因為相關(guān)的確切數(shù)據(jù)實在是少之又少。可以肯定的是,色情網(wǎng)站的訪問量肯定少不了。事實證明上述猜測是正確的,因為根據(jù)谷歌旗下廣告服務(wù)商Doubleclick的數(shù)據(jù)顯示,獨立訪問量前500名的網(wǎng)站中,竟有數(shù)十個是成人網(wǎng)站!
世界上最大的色情網(wǎng)站Xvideos每月有44億的訪問量,這個數(shù)字是CNN官網(wǎng)或24小時專門播放體育節(jié)目ESPN電視網(wǎng)的訪問量的3倍,是社交新聞?wù)军cReddit的2倍。YouPorn、Tube8和Pornhub這些大型的色情網(wǎng)站,其訪問量也可以讓除了Google和Facebook等超大型網(wǎng)站之外的小網(wǎng)站們相形見絀。
從訪問量中,我們只能得出色情網(wǎng)站要比非色情網(wǎng)站更受歡迎這個結(jié)論。40億訪問量聽起來確實是個天文數(shù)字,但是當(dāng)你將用戶在色情網(wǎng)站上做的事考慮在內(nèi),你就會發(fā)現(xiàn),色情網(wǎng)站的大小和規(guī)模也不可小覷。
網(wǎng)網(wǎng)站規(guī)模站規(guī)模
網(wǎng)站規(guī)模
網(wǎng)站規(guī)模
色情網(wǎng)站和非色情網(wǎng)站的主要區(qū)別就是訪問者的停留時間。Engadget和ExtremeTech這類科技網(wǎng)站的用戶平均停留時間在3到6分鐘之間,這足以讓用戶閱讀完幾篇文章了;而色情網(wǎng)站的用戶停留時間則在15到20分鐘之間。
兩者之間的差異也情有可原,因為大多數(shù)網(wǎng)站的內(nèi)容主要是文字和圖片,大型色情網(wǎng)站則力推視頻內(nèi)容,眾所周知,看完一段視頻所花的時間可比閱讀完一篇文章花的多。ExtremeTech主頁的數(shù)據(jù)大小約為數(shù)百萬字節(jié),但一段只有480×200低分辨率的色情視頻,每秒的數(shù)據(jù)量就在10萬字節(jié)左右,15分鐘的視頻就可以耗掉約9千萬字節(jié)的流量。將9千萬字節(jié)乘以Xvideos網(wǎng)站每月約3.5億的訪問人數(shù),就可以得出Xvideos每月需要處理29PB的字節(jié)(1PB=1024TB,1TB=1024GB),即每秒50GB字節(jié)的的數(shù)據(jù)傳送。
簡而言之,色情網(wǎng)站每天需要處理海量的數(shù)據(jù)。在純帶寬(單位時間內(nèi)可傳輸?shù)臄?shù)據(jù)量)上,美國本土能夠與之匹敵的也僅有視頻網(wǎng)站YouTube或Hulu了。色情網(wǎng)站的規(guī)模大到難以想象,排名第二的YouPorn的純帶寬都要比Hulu大出6倍。
網(wǎng)站的基礎(chǔ)設(shè)施
與僅僅提供文字和圖片相比,視頻服務(wù)所需要的資源可要多得多了,它需要大量的數(shù)據(jù)儲存、較短的CPU周期、內(nèi)部I/O和高帶寬等。
雖然說色情網(wǎng)站各不相同,但是大多數(shù)色情網(wǎng)站都會儲存大約50到200TB的色情資料,對一個網(wǎng)站來說,這可不是一個小數(shù)目。不過幸好現(xiàn)在2TB的硬盤驅(qū)動器價格低廉且種類繁多,因此這對色情網(wǎng)站來說應(yīng)該不算是太大的問題。
色情網(wǎng)站需要提供數(shù)千個動態(tài)的、可搜索的視頻數(shù)據(jù)庫,當(dāng)有人點擊一個視頻時,文件會經(jīng)過硬盤讀取繼而上傳到網(wǎng)絡(luò)上,這是一個繁雜的過程,而CPU周期和I/O能夠影響數(shù)據(jù)的讀取和上傳的快慢。除此之外,在硬件方面,色情網(wǎng)站還需要四核機架服務(wù)器、千兆交換機和負(fù)載均衡等。在軟件方面,大多數(shù)色情網(wǎng)站會使用快速、靈敏的數(shù)據(jù)庫,如Redis來儲存和提取視頻,還有輕量級、高性能的Nginx等來作為網(wǎng)頁的HTTP服務(wù)器。
在帶寬上,拿上面的Xvideos為例,大型的色情網(wǎng)站需要有足夠的網(wǎng)絡(luò)連通性來完成每秒400Gb的數(shù)據(jù)傳送。而且這還只是平均的數(shù)據(jù)傳輸速率,在高峰時段,Xvideos的背板帶寬可以飆升至每秒1000Gb甚至更多。當(dāng)然了,有許多方法可以解決流量過多產(chǎn)生的問題,如網(wǎng)站可以成立自己的數(shù)據(jù)中心,或租用大型數(shù)據(jù)中心的一些機架服務(wù)器,或使用如亞馬遜或微軟提供的云儲存等。
世界第二大色情網(wǎng)站YouPorn給我們提供了一些一手的數(shù)據(jù),看完你就會發(fā)現(xiàn),事實上,谷歌的Doubleclick廣告服務(wù)商低估了色情網(wǎng)站的吸引力。
YouPorn有超過100TB的色情資料,每天的頁面訪問量超過1億,這就意味著它每天的數(shù)據(jù)傳輸量有950TB之多,大多數(shù)的數(shù)據(jù)傳送用在了加載視頻上。按照上面的數(shù)據(jù)計算,YouPorn每月的數(shù)據(jù)處理量有28PB,因此,排名第一的Xvideos的數(shù)據(jù)傳送肯定不止29PB,它每月的數(shù)據(jù)傳送量估計在35到40PB之間。在高峰時間段,YouPorn每秒需要處理100GB(每秒800Gb)的數(shù)據(jù)量,這個數(shù)據(jù)量等于YouPorn每秒傳送了10多張雙層的DVD。
真實的范例
世界第二大色情網(wǎng)站YouPorn給我們提供了一些一手的數(shù)據(jù),看完你就會發(fā)現(xiàn),事實上,谷歌的Doubleclick廣告服務(wù)商低估了色情網(wǎng)站的吸引力。
YouPorn有超過100TB的色情資料,每天的頁面訪問量超過1億,這就意味著它每天的數(shù)據(jù)傳輸量有950TB之多,大多數(shù)的數(shù)據(jù)傳送用在了加載視頻上。按照上面的數(shù)據(jù)計算,YouPorn每月的數(shù)據(jù)處理量有28PB,因此,排名第一的Xvideos的數(shù)據(jù)傳送肯定不止29PB,它每月的數(shù)據(jù)傳送量估計在35到40PB之間。在高峰時間段,YouPorn每秒需要處理100GB(每秒800Gb)的數(shù)據(jù)量,這個數(shù)據(jù)量等于YouPorn每秒傳送了10多張雙層的DVD。
食色性也……
在軟件方面,YouPorn完全使用Redis進(jìn)行數(shù)據(jù)存儲,并使用MySQL小型數(shù)據(jù)庫管理系統(tǒng)對Redis進(jìn)行添加或管理。網(wǎng)頁的HTTP服務(wù)器是Nginx,負(fù)載均衡則使用的是HAProxy和Varnish。Redis服務(wù)器每秒需要處理30萬個頁面請求,每小時會記錄下8到15GB的數(shù)據(jù)(包括用戶登錄、觀看記錄等),YouPorn認(rèn)為Redis處理每天2億的訪問量不成問題。
互聯(lián)網(wǎng)只能處理50Tb每秒的數(shù)據(jù),換而言之,單單一個YouPorn的流量就占了整個互聯(lián)網(wǎng)的2%。類似YouPorn這樣的色情網(wǎng)站有數(shù)十個之多,因此,認(rèn)為色情網(wǎng)站的數(shù)據(jù)傳送量占據(jù)整個互聯(lián)網(wǎng)的30%就不算夸張了。