“大數(shù)據(jù)已死。”

說這話的，正是來自Google十年員工，數(shù)據(jù)分析產(chǎn)品BigQuery創(chuàng)始成員之一，Jordan Tigani。

在最新發(fā)布的一篇博文中，他表示——

(相關(guān)資料圖)

大數(shù)據(jù)概念在十多年前開始興起，時至今日，銷售們?nèi)杂谩昂Ａ繑?shù)據(jù)帶來指數(shù)級增長曲線”說法，來勾起（唬?。┛蛻魹橄嚓P(guān)服務(wù)買單的欲望，否則就將被數(shù)字時代拋棄。作者自己也曾是其中之一。

但現(xiàn)在，Jordan Tigani不僅認(rèn)為這種說法行不通，還稱——“數(shù)據(jù)大小根本不是問題所在。”

那么問題在哪？他認(rèn)為，我們已無需擔(dān)心數(shù)據(jù)大小，而應(yīng)專注于如何使用數(shù)據(jù)來做出更好的決策。

如此言論之下，也吸引了不少業(yè)內(nèi)人士的圍觀和熱議。

他的上述觀點有何依據(jù)？

不妨從證明過程看起。

值得注意的是，作者表示，證明過程中相關(guān)圖表曲線并不是嚴(yán)格參考了數(shù)據(jù)，而是憑記憶手繪的，這位資深從業(yè)者強(qiáng)調(diào)——重要的是曲線形狀趨勢，而非確切數(shù)值。

“恐嚇”客戶的話術(shù)出問題了

Jordan Tigani先從一張PPT聊開去。

這是一條數(shù)據(jù)量隨時間增長，呈現(xiàn)指數(shù)級增長的曲線，在過去十年，幾乎每個大數(shù)據(jù)產(chǎn)品推銷都從該曲線開啟。他曾就職的谷歌、SingleStore都不例外。

亮出曲線后，銷售們會順勢鼓吹產(chǎn)品，告訴客戶——大數(shù)據(jù)時代來了！你需要我手里的產(chǎn)品服務(wù)！

但Jordan Tigani認(rèn)為，多年來的事實已證明，處理數(shù)據(jù)的老方法已經(jīng)行不通了，且大多數(shù)應(yīng)用程序也不需要處理大量數(shù)據(jù)。

一個佐證是近些年傳統(tǒng)架構(gòu)的數(shù)據(jù)管理系統(tǒng)復(fù)興，諸如SQLite、Postgres、MySQL都增長強(qiáng)勁，與之對比，“NoSQL”甚至“NewSQL”增長卻停滯不前。

一個明顯例子是MongoDB，它是排名最高的NoSQL類數(shù)據(jù)庫，也同樣是最火的橫向擴(kuò)展類數(shù)據(jù)庫，此前幾年MongoDB增長勢頭強(qiáng)勁，但最近規(guī)模卻小幅下降，且與MySQL等主流數(shù)據(jù)庫仍存差距。

Jordan Tigani認(rèn)為——如果大數(shù)據(jù)真是未來，那情況應(yīng)該不一樣。

鼓吹大數(shù)據(jù)時代就在眼前的另一個說法是——每個人都會被產(chǎn)生的數(shù)據(jù)淹沒。

但Jordan Tigani在研究客戶中發(fā)現(xiàn)絕大多數(shù)客戶總數(shù)據(jù)存儲量不超過1TB，即便大型企業(yè)，其數(shù)據(jù)量級也soso。

根據(jù)他的從業(yè)經(jīng)驗，所服務(wù)的最大客戶數(shù)據(jù)存儲量是第二大客戶的2倍，第二大客戶又是第三位的2倍。

這樣一來，客戶數(shù)據(jù)大小與數(shù)量服從冪律分布。

只有極少數(shù)客戶擁有PB級數(shù)據(jù)，成千上萬客戶每月存儲費用不超過10美元，而他們服務(wù)客戶存儲資源使用的中位數(shù)，連100GB都不到。

不僅作者本人這么認(rèn)為，Gartner、Forrester等機(jī)構(gòu)分析師及其他從業(yè)者也表示，大部分企業(yè)的數(shù)據(jù)庫量級都小于1TB，且100GB是常態(tài)。

拿一家超千名客戶的公司舉例，即便每個客戶每天下一個訂單，里面包含100項數(shù)據(jù)，每天生成數(shù)據(jù)仍小于1字節(jié)，三年后是1GB，而要達(dá)到1TB，這家公司得做幾千年生意。

另一個例子是之前作者接觸了一家E輪獨角獸公司，且還在快速成長中，但即便這樣，他們的財務(wù)數(shù)據(jù)、客戶數(shù)據(jù)、營銷跟蹤數(shù)據(jù)及服務(wù)日志加起來，也只有幾GB。

就這，能叫大數(shù)據(jù)？

還不算完，即便看“已有”部分，也有問題。

由于現(xiàn)代云平臺將存儲與計算分開，兩部分利用量級也有很大差距，即——數(shù)據(jù)存儲增長速度，遠(yuǎn)大于計算資源需求增速。

具體來說，企業(yè)數(shù)據(jù)的存儲量隨時間推移，肯定是線性增加的，但大部分分析計算需求是針對近期數(shù)據(jù)，不可能一遍又一遍反復(fù)讀取舊數(shù)據(jù)。因此，計算需求不會同步迅速增加。

Jordan Tigani的一個客戶就是這樣。

作為全球頭部零售商，他們原有100TB本地數(shù)據(jù)，遷移到云上后，數(shù)據(jù)量變成了30PB，增加了300倍，如果計算資源需求也隨之拉滿，那他們在數(shù)據(jù)分析上的花費將達(dá)幾十億美元，但事實上，他們只花了很小一筆費用。

作者認(rèn)為，大量計算服務(wù)不被需要，也就意味著前沿架構(gòu)不太有必要，甚至分布式處理也Duck不必。

與之類似，分析數(shù)據(jù)的工作負(fù)載也遠(yuǎn)小于數(shù)據(jù)體量。

多數(shù)時候，人們往往只會查詢前1小時、前1天或上周數(shù)據(jù)，較小的表會被頻繁查詢，但大表就不一定了。

在作者本人BigQuery工作經(jīng)歷中，數(shù)據(jù)量巨大的客戶幾乎從不查詢大量數(shù)據(jù)，除非他們正在生成一些報告。

這種需求，也不要求性能優(yōu)先，且僅是企業(yè)一周幾十萬個查詢中的極少數(shù)。

正如下圖，90%查詢?nèi)蝿?wù)涉及的數(shù)據(jù)量級不超過100MB，僅1%超過10GB，且即便查詢巨型表，數(shù)據(jù)庫也可通過一定處理，減少計算量和延遲。

一個側(cè)面佐證是——業(yè)內(nèi)符合原本“大數(shù)據(jù)”定義的產(chǎn)品也在變少。

在當(dāng)初，大數(shù)據(jù)的定義之一是“任何單機(jī)無法處理相關(guān)任務(wù)/場景需求”，比如00年代，數(shù)據(jù)工作負(fù)載對于單個商業(yè)計算機(jī)來說，帶不動是常態(tài)。

但今天，一個AWS的標(biāo)準(zhǔn)實例所用到的物理服務(wù)器包含了64核及256GB RAM，如果為優(yōu)化實例再多掏一點錢，又能在原基礎(chǔ)上增加2個數(shù)量級RAM，這幾乎覆蓋所有工作負(fù)載需求。

既然大數(shù)據(jù)時代結(jié)束了，那是不是說，相關(guān)從業(yè)者要下崗了？

作者也提出了自己的看法——

結(jié)束了，但沒完全結(jié)束。

具體來說，作者認(rèn)為，大數(shù)據(jù)的另一重內(nèi)涵是“當(dāng)數(shù)據(jù)保存的支出小于其挖掘價值，那就應(yīng)該放棄”，因而，我們需要判定哪些數(shù)據(jù)需要及時清除，以及背后的原因，這將成為數(shù)據(jù)工作的重要部分。

這當(dāng)中，也包括不同時期同一數(shù)據(jù)以不同字段存儲，需要有人來加以維護(hù)和留有記錄。

此外，基于相關(guān)監(jiān)管規(guī)定，很多類型數(shù)據(jù)（比如涉及個人隱私的電話號碼）也需要定期清除。

再有，便是一些公司需要定期判斷哪些舊數(shù)據(jù)要清理，以避免未來可能的法律風(fēng)險。（手動狗頭）

ChatGPT老板有不同看法

對于Jordan Tigani上述觀點及論證，有網(wǎng)友表示支持，還聯(lián)想到之前類似的工作經(jīng)歷。

也有網(wǎng)友表示：

當(dāng)XX已死，說明它真實被認(rèn)可的地方會被保留下來。

值得一提的是，并非所有人都贊同作者的觀點。

尤其鑒于“XX已死”將話說得太滿，有網(wǎng)友認(rèn)為：

在近期AI大火之際，判決AI所依賴的大數(shù)據(jù)已死，也是挺敢說。

當(dāng)紅炸子雞ChatGPT背后老板Sam Altman，此前在舊金山一次技術(shù)活動中，也談過對大數(shù)據(jù)的看法，Sam認(rèn)為——

AI研究領(lǐng)域取得令人印象深刻的進(jìn)步，不僅依靠海量數(shù)據(jù)，同時更需要海量的計算。

上述觀點不僅強(qiáng)調(diào)了海量數(shù)據(jù)重要性，對比Jordan Tigani所認(rèn)為的“重存儲輕計算”看法，正好相反。

另一個不同聲音來自一位名叫Lewis Gavin的大數(shù)據(jù)與軟件工程師，此前他曾在Medium上發(fā)文，主題也是圍繞“大數(shù)據(jù)是否消亡”

他認(rèn)為：

大數(shù)據(jù)不會死，只會變得更重要。

所給出理由是：一方面依據(jù)是全球生成的數(shù)據(jù)總量仍在加速增長，且細(xì)分領(lǐng)域中，處理“大數(shù)據(jù)”正成為常態(tài)。

基于此，Lewis Gavin認(rèn)為——所謂“大數(shù)據(jù)死亡”，只是營銷說法的消亡，但Big Data處理技術(shù)和應(yīng)用仍存在，且它會成為習(xí)以為常的現(xiàn)象。

IDC于1月24日發(fā)布的一篇預(yù)測證明了大數(shù)據(jù)市場仍在增長，內(nèi)容指出——

未來幾年，全球大數(shù)據(jù)和分析軟件市場將實現(xiàn)強(qiáng)勁增長，且具體到該板塊各細(xì)分領(lǐng)域，未來幾年增長率均為雙位數(shù)。

有意思的是，有網(wǎng)友提出“大數(shù)據(jù)的死亡”并不是個技術(shù)話題。

他表示：數(shù)據(jù)之所以沒發(fā)揮價值，其實是商界精英們往往忽略數(shù)據(jù)內(nèi)蘊藏的結(jié)論。

另一位網(wǎng)友也表示贊同，還稱：

自己曾開玩笑，數(shù)據(jù)科學(xué)家的工作其實不是搞分析，而是為高管們前瞻性觀點提供有力證明。（手動狗頭）

關(guān)鍵詞：