當(dāng)前位置:首頁 >  科技 >  IT業(yè)界 >  正文

阿里巴巴,果然開始擁有“預(yù)測未來”的能力了

 2019-01-03 15:48  來源: 互聯(lián)網(wǎng)   我來投稿 撤稿糾錯

  域名預(yù)訂/競價,好“米”不錯過

頂燈閃爍,笛聲響徹。

救護車載著病人,沖向茫茫車海,在時間的賽道上狂奔。

高德地圖、GPS 衛(wèi)星導(dǎo)航、路面磁感線圈、1300 個路口攝像頭同時開動,為這輛救護車勘探最快路線;

GPS 傳回實時數(shù)據(jù),后臺根據(jù)輔助數(shù)據(jù)糾偏,錨定救護車每一刻的精確位置;

救護車將要經(jīng)過的沿途,車輛情況被實時計算。確保路口綠燈提前亮起,在救護車通過之前,剛好所有社會車輛已經(jīng)行駛一空。

這不是演習(xí),這是杭州城市大腦每天都在執(zhí)行的任務(wù)。依靠計算,一輛救護車到達醫(yī)院的速度,平均縮短了 50%。在這座城市,靠鳴笛和闖紅燈開道的悲壯徹底成為歷史。

說人同螻蟻,其實并不為過。兩百多萬輛車奔跑在城市里,他們的行蹤像風(fēng)里的落葉一樣叵測。但通過對 1300個路口的攝像頭的實時計算,城市大腦就可以精確地預(yù)測出未來十五分鐘、未來半小時哪個路段將會擁堵,從而第一時間指揮路口信號燈“變換姿勢”。

計算在幫人類追趕時間。

中哥今天要說的,就是這個精致而堅固的“大數(shù)據(jù)實時計算引擎”。

你可能從未聽說過這個引擎,甚至在此刻之前都不知道它的存在,但你很可能早已成為這個引擎服務(wù)的一員:

一年一度的雙11,無數(shù)人涌進天貓,每個人都能用 0.1 秒搜索到自己理想的商品,在智能推薦中發(fā)現(xiàn)適合的寶貝,背后正是依賴這個引擎;

雙11慶典現(xiàn)場,大屏上那個跳動的總成交量數(shù)字,只是背后所有數(shù)據(jù)的冰山一角。幾十億種商品的實時庫存、價格、優(yōu)惠數(shù)據(jù)得以分秒不慢地同步給屏幕前的你,也同樣依賴這個引擎。

從某種意義上來說,只要給這個計算引擎足夠的資源,無論面對多么龐大復(fù)雜的系統(tǒng),我們都可以用幾乎忽略不計的時間看到真相——這大大快于人類最聰明的大腦。

這是我們親手創(chuàng)造的“先知”。

重器難成。為了這個先知一般的“大數(shù)據(jù)實時計算引擎”,阿里巴巴最核心的技術(shù)人,已經(jīng)耗費了將近五年時間。

讓人感慨的是,這個承載了一個個城市的交通,扛起了一條條生產(chǎn)線,擔(dān)負了一個國家十幾億人購物的強大引擎之所以的誕生在阿里巴巴,最初并不是為了滿足什么需要,而僅僅是因為它“看上去很美”。

這是一個鮮為人知的故事。

(1)

1999年,阿里巴巴在杭州成立。

同樣在1999年,蔣曉偉正在美國攻讀理論物理博士。作為一個初三就立志要探索宇宙秘密的年輕人,到目前為止他的人生堪稱完美。

就在一個嶄新的物理學(xué)家即將出爐的時候,命運開始展現(xiàn)它的波云詭譎。蔣曉偉突然被自己的導(dǎo)師“忽悠”到了一家非常有希望的互聯(lián)網(wǎng)初創(chuàng)公司。理由是:“在30歲之前先財富自由,以后愛怎么學(xué)物理就怎么學(xué)物理。”

一年之后,互聯(lián)網(wǎng)泡沫破裂。然而,蔣曉偉卻留在了這片戰(zhàn)場。2002年,他加入微軟,2010年他加入 Facebook。彈指揮間,直到回國加入阿里巴巴之前,他已經(jīng)從物理學(xué)家成功轉(zhuǎn)型成為數(shù)據(jù)庫和計算資源調(diào)度系統(tǒng)專家。

他還記得,自己加入阿里的時間是 2014年12月29日。這是一年中可以辦理入職的最后一天。

“為什么選最后一天?”

“因為看上去比較有美感。”

“。。。”

目測,蔣曉偉是我見過的第一個用物理公式般的美感對待人生的人。甚至,他給自己的花名都想叫做“量子”,后來思考了一下,覺得量子不太像個人名,才改為諧音“量仔”。

4.jpg

蔣曉偉

蔣曉偉入職的是阿里巴巴集團搜索團隊。你可能會問:納尼?阿里巴巴還有搜索團隊?當(dāng)然有,而且還極其重要。舉個搜索引擎的日常:

當(dāng)你在淘寶搜索框里輸入“杜蕾斯”的時候,搜索引擎就馬上行動,從億萬賣家出售中的寶貝里幫你找到合適的 TT(及其他產(chǎn)品),然后按照推薦順序排列在搜索結(jié)果里。

注意,有趣的硬核要來了:

如果,商家的 TT 價格永遠不改,庫存永遠無限,優(yōu)惠促銷方案永遠不變,那么搜索團隊只需要做一個最簡單的查詢系統(tǒng)就行了。

但是,現(xiàn)實中商家會隨時調(diào)整價格和優(yōu)惠,某一款激情大顆粒也可能因為太受歡迎,上架十秒就賣到缺貨。在淘寶網(wǎng)上,你會發(fā)現(xiàn)真實的狀態(tài)是:每時每刻都有無數(shù)賣家的產(chǎn)品參數(shù)在改動。

所以,搜索引擎的挑戰(zhàn)就是,要根據(jù)每時每刻最新的數(shù)據(jù)庫來瞬間算出最適合呈現(xiàn)給你的搜索結(jié)果。

相信我,只有用最新鮮的數(shù)據(jù)算出的結(jié)果,才能讓屏幕對面的你露出心滿意足的表情:

面對這種現(xiàn)實,一個最穩(wěn)妥的方式就是,搜索引擎用把現(xiàn)在的數(shù)據(jù)庫全部算一遍,給出結(jié)果。

但是,這會耗費大量的計算力。畢竟這一秒相對于上一秒來說,可能發(fā)生參數(shù)變動的寶貝只有十個,而沒有參數(shù)變動的寶貝有十萬個。

那么,你自然會想:“有沒有一種方法,讓我只計算改動的部分,再通過特別的數(shù)學(xué)運算和之前的結(jié)果融合,就能達到和計算全量數(shù)據(jù)一樣的效果呢?”

有的,這就叫“流式計算”。

打個最簡單的比方:

你負責(zé)把椰汁平分給10個妹紙。剛開始你有10瓶椰汁,于是你一人分了一個。后來,你又得到了10瓶椰汁,這時候椰汁的總數(shù)變成了 20 瓶,平均每個妹紙應(yīng)該得到兩個。

但你沒有必要把之前分給妹紙的椰汁收回來,重新每人給兩個;而是可以讓每個妹紙手上拿著之前的那瓶椰汁的基礎(chǔ)上,每人再補發(fā)一瓶。

通過這個例子,我猜你已經(jīng)感受到了“流式計算”的激蕩。當(dāng)然,實際的數(shù)據(jù)庫運算比“分椰汁”復(fù)雜得多。

需要說明的是,當(dāng)時在阿里巴巴內(nèi)部,并不是沒有流式計算引擎,各部門都根據(jù)自己的需求研發(fā)了特定的流式計算引擎,只不過,大多引擎只用來解決各自部門的問題,沒有通用性。

很多業(yè)務(wù)都開發(fā)了

各自的流式計算引擎

但蔣曉偉突然發(fā)現(xiàn),流式計算背后隱藏著一個神奇的事實:

既然只計算增量,就能得知全量的結(jié)果;那么就可以永遠用計算增量的方式來表達計算全量。

也就是說:增量計算等效于全量計算;流式計算等效于批處理計算,實時計算等效于離線計算!

也就是說,如果按照這個構(gòu)想做出一套完整功能的“流式計算引擎”,就可以一統(tǒng)江湖,運轉(zhuǎn)在阿里巴巴所有的技術(shù)底層。這可是一份不小的產(chǎn)業(yè)啊!

蔣曉偉越想越雞凍。

然鵝,讓他激動的最主要原因竟然是:“這個引擎太完美了!”他發(fā)現(xiàn),其實自己身體里的那個“物理學(xué)家”一直都在。物理追求的終極就是“大一統(tǒng)理論”——用一套機制解決所有問題。沒想到人生峰回路轉(zhuǎn),在計算機領(lǐng)域也給發(fā)現(xiàn)了一個“大一統(tǒng)”的機會。

老實說,蔣曉偉老濕傅這個想法有點危險。危險在哪呢?

首先,如果把當(dāng)時搜索業(yè)務(wù)需要的流式計算比作汽車發(fā)動機的話,蔣曉偉想要研制的發(fā)動機,是豪華到可以用到下一代宇宙飛船上的“核能發(fā)動機”。自己團隊支持的這攤子業(yè)務(wù)目前根本不需要這么好的引擎。

其次,研究這個引擎的基本動力居然是“美感”。出于美感開發(fā)一個計算引擎,這種動機天然就有一種理想主義氣質(zhì)。。。能不能研究成,那只有天知道。

再說,面對這么宏大的任務(wù),手下能用來做研發(fā)的團隊,只有五個人。況且這五個兄弟還有日常的任務(wù),人手極度短缺。

“但馬老師不是說了么,夢想還是要有的,萬一實現(xiàn)了呢?”

剛剛加入阿里的蔣曉偉倒是決心已定。

(2)

蔣曉偉“能用”的團隊,全員都在北京。

這個小分隊的老大叫做王峰。王峰是個老阿里了,2006年加入阿里巴巴,在阿里北京的雅虎中國團隊做搜索,后來又做過一淘和淘寶搜索。此時此刻,他和北京的幾個兄弟主要負責(zé)一個開放搜索項目的離線系統(tǒng)。 

聽到蔣曉偉對于“流式計算引擎”的描述,王峰內(nèi)心驚呼“*”。對于一個合格技術(shù)宅來說,一個好的技術(shù)構(gòu)想比萌妹子更能讓他動心。

蔣曉偉和王峰一合計,事情很簡單:腳踩兩只船,那基本沒戲。要么就趁早死心,放棄新引擎研發(fā);要么就大家就把舊工作完全交出去,破釜沉舟干票大的。

王峰的決定是,干!

10.jpg

現(xiàn)在的王峰,

笑起來一幅波瀾不驚,

當(dāng)年內(nèi)心也是慌得一批。

王峰回憶,領(lǐng)導(dǎo)們覺得很不可思議。因為交出原有的業(yè)務(wù),北京這個小團隊相當(dāng)于“失業(yè)”了。而新的研究——流式計算引擎——當(dāng)時只是個構(gòu)想,連技術(shù)方向也沒有,代碼更是一行都還沒寫。對于王峰來說,這相當(dāng)于一次破釜沉舟的內(nèi)部創(chuàng)業(yè),前途未卜,兇險異常。

事實也證明,別人的擔(dān)心都是對的。一開始團隊努著勁兒寫了三個月代碼,仍然沒辦法達到蔣曉偉理想中的通用性,連他本人都有點心虛。

“我剛來阿里巴巴,就忽悠兄弟們把之前的項目都放棄了,要是最后證明我的構(gòu)想是個坑,那不是害了別人么。。。”他想。

焦急之中,已經(jīng)到了 2015 年夏天,蔣曉偉突然在業(yè)內(nèi)著名的大數(shù)據(jù)峰會 Hadoop Sumit 的論壇上看到有人發(fā)表了一個驚悚的評論:感覺 Flink 出來之后,Hadoop 就顯得不怎么需要了。。。

Hadoop 是當(dāng)年最火的大數(shù)據(jù)分布式架構(gòu),這個 Flink 是個神馬,根本沒聽過啊。但是當(dāng)蔣曉偉、王峰和團隊研究完技術(shù)資料之后突然發(fā)現(xiàn),這種“用流式計算來等效一切計算”的理念不就和我們想開發(fā)的那套引擎一模一樣嗎?

蔣曉偉仰天長嘯:

真是天助我也!既然已經(jīng)有開源的技術(shù),那么我們只要在此之上繼續(xù)開發(fā)流計算引擎就好了?。?/p>

這里多介紹一句。Flink 是一個流式計算的開源框架,2010 年誕生于德國研究中心和柏林工業(yè)大學(xué),2014年被捐贈給 Apache 基金會,并由創(chuàng)始公司 DataArtisans 繼續(xù)運營。

Flink 的 Logo 是一只眼神里有故事的松鼠。

簡單來說,2015年的時候,F(xiàn)link 剛剛“出道”一年,幾乎沒有人知道,更沒有人大規(guī)模使用。就像一個剛剛畢業(yè)的大學(xué)生,看上去很有潛力,但“穩(wěn)定性”和“實用性”都缺乏事實驗證。

就這樣,這幫阿里巴巴的技術(shù)專家,成為了全球第一批使用 Flink 框架做大數(shù)據(jù)引擎研發(fā)的人,蔣曉偉一瞬間就給自己的引擎起好了名字——“Blink”。這是英文眨眼的意思。”一眨眼,所有東西都計算好了!“

2015年底,搜索部門要向阿里巴巴 CTO 行癲匯報。每人20分鐘時間,結(jié)果蔣曉偉上去講 Blink,沉浸在對這個“完美引擎”的想象中,一下就說了40分鐘。

作為阿里巴巴所有核心技術(shù)的掌門人,行癲素來對新技術(shù)很敏感。他聽懂了蔣曉偉的技術(shù)路線,內(nèi)心也覺得相當(dāng)靠譜。但這畢竟是搜索團隊自己“偷偷”搞的項目,這幫兄弟究竟可以堅持走多遠,行癲心里也沒底。于是鼓勵蔣曉偉說:“那就等你們明年做出來,我們再看!”

11.jpg

阿里巴巴 CTO 行癲 張建鋒

(3)

說到底,Blink 是一個通用引擎。它就像一個萬能發(fā)動機,可以裝載到轎車、卡車、飛機、火箭任何地方。

蔣曉偉手握這臺“萬能發(fā)動機”的1.0版本,到處去找車實驗。他盯上的“第一批車”,就是搜索業(yè)務(wù)中的使用場景。

簡單科普一下:

搜索業(yè)務(wù)的機器學(xué)習(xí)平臺內(nèi)部代號叫“保時捷”(還真是一輛車。。。),可以根據(jù)你瀏覽商品的時間和動作,實時判斷出你可能會對什么感興趣,從而在下一秒就能給你智能推薦可能喜歡的商品。這是阿里巴巴非常有技術(shù)含量的一個應(yīng)用。

實際上,機器學(xué)習(xí)平臺當(dāng)時已經(jīng)“心有所屬”,配有一臺流式計算引擎——之前王峰帶領(lǐng)搜索團隊自研的 iStream。iStream 是專門為搜索設(shè)計的,雖然目前可以很好地完成任務(wù),但結(jié)構(gòu)簡單,不具有特別強的通用性。

機器學(xué)習(xí)算法團隊的一位負責(zé)人仁基,技術(shù)思想非常超前,非常巧的是,他同樣是個執(zhí)著于“美感”的人。他相信,未來 Flink 很可能會成為下一代機器學(xué)習(xí)算法重要的底層計算框架,于是在 Blink 系統(tǒng)研發(fā)的早期,就把團隊里一百多位算法工程師的力量都用來配合蔣曉偉。

“一兩百人的團隊,被我一個人折騰。”回憶到這里,蔣曉偉露出了羞赧的表情。

說得很美好,結(jié)果真拿來 Blink 一用,動不動就躺尸。。。說實話,算法工程師沒有義務(wù)為 Blink 的技術(shù)問題買單。畢竟算法工程師是“生產(chǎn)汽車的”,而 Blink 這個“發(fā)動機”質(zhì)量不穩(wěn)定,導(dǎo)致人家的汽車備受詬病,可以說相當(dāng)冤枉了。

所以那幾個月一百多位算法工程師的日常就是各種吐槽“瘋子”蔣曉偉。

后來蔣曉偉才知道,這些吐槽,全都被仁基扛下來。仁基盡自己一切所能,在保護著這個弱小的 Blink。

終于,2016年5月,第一個基于 Blink 的機器學(xué)習(xí)小功能“A/B Testing”上線。雖然還存在一些青澀的小毛病,但所有的技術(shù)人都看到了,Blink 已經(jīng)像會呼吸的小獸一樣,泛出誘人的引擎光澤。

最激動的,當(dāng)然是蔣曉偉本人。

他把自己在 Flink 上成功的應(yīng)用作為一個演講,投給了當(dāng)年的 Hadoop Sumit 大會。非常巧,F(xiàn)link 的創(chuàng)始人 Kostas 和 Stephan 也在同一個大會上有一個演講。他們兩撥人實際是那次 Hadoop 大會上唯二的 Flink 演講。

Kostas 提前看到了議程,頓感相見恨晚,于是主動聯(lián)系了蔣曉偉,希望他能用團隊研究的成果影響社區(qū)。

“本來之前是想自己玩玩的,我們連阿里都不敢影響,還敢影響社區(qū)?”蔣曉偉說。但是 Kostas 和 Stephan 覺得這群阿里人的嘗試簡直不要太酷,特別支持。

蔣曉偉深受感動,“從那時候開始就覺得,我們不僅得把阿里內(nèi)部的業(yè)務(wù)做好,還要為 Flink 社區(qū)做貢獻,把 Flink 社區(qū)做好。”

就這樣,蔣曉偉和團隊就跟組織“接上了頭”,成為了 Flink 社區(qū)的核心成員。

(4)

在搜索團隊內(nèi)部證明了 Blink 能力,又得到了 Flink 社區(qū)的認可,蔣曉偉終于有資格正視自己的“野心”了。

他提出要讓 Blink 支撐“雙11”上的實時機器學(xué)習(xí)任務(wù),對方同意了。

也就是說,雙11當(dāng)天,數(shù)億人在淘寶天貓搜索商品,他們的每次查看,點擊,都會影響個性化的智能推薦,在下一秒就能看到為自己量身定做的寶貝推薦。而這背后的實時計算,都要由 Blink 來支撐。

然而抬眼一看,夏天已經(jīng)到了,距離雙11只有不到半年了。

整個九、十月份,Blink 和機器學(xué)習(xí)系統(tǒng)的聯(lián)調(diào)都處在各種花式崩潰之中。Blink 還小,壓根就沒見過雙十一這種“人類狂歡”的陣仗。出現(xiàn)了一個死結(jié):一旦超大規(guī)模數(shù)據(jù)進來,Blink 的性能立刻大幅下降。

要知道,在 AI 領(lǐng)域,性能就是功能。性能大幅下降的 Blink 分分鐘就把人工智能坑成“人工智障”。

老程序猿都知道,數(shù)據(jù)規(guī)模是對一個系統(tǒng)最大的考驗。一個系統(tǒng)承受不住大規(guī)模的數(shù)據(jù)浪潮,有可能證明這個架構(gòu)就是無解的。如果真是架構(gòu)缺陷,那么解決方案只有一個:放棄。

帶領(lǐng)團隊攻堅的王峰回憶,那幾天“自己已經(jīng)崩潰了”。

十一假期,所有團隊的人都從北京沖到了杭州,別說休假,連覺都不睡了。六七個人就在工位上吃住,尋找究竟是哪個節(jié)點出了問題。即使是面對這樣的情況,蔣曉偉、王峰,還有其他同事都完全相信,F(xiàn)link 架構(gòu)是完美的,問題一定是局部的可解的,只是我們還沒找到它。

終于,問題找到了!是不同層級算子之間的調(diào)度模式需要優(yōu)化。解決這個問題之后,系統(tǒng)能處理的數(shù)據(jù)量立刻躍升。十月中旬,Blink 正式切上線。本以為劫波渡盡,沒成想又是一大堆系統(tǒng)配合的問題接踵而來。

蔣曉偉記得,將近11月,Blink 還有一些問題沒搞定。這邊基礎(chǔ)引擎不搞定,算法團隊就沒辦法在它的基礎(chǔ)上調(diào)優(yōu)雙11的算法。到最后,算法團隊的老大都直接找到蔣曉偉,著急地質(zhì)問:“你們究竟是怎么回事?。?rdquo;

現(xiàn)在想想,他的意思可能是想讓我別折騰,直接換回去年的舊系統(tǒng)。但我的情商低,當(dāng)時沒聽明白。就是一門心思地組織大家調(diào)優(yōu) Blink。。。

蔣曉偉回憶。

終于趕在11月前,Blink 完成了聯(lián)調(diào)。原則上,從11月1日開始,雙11的系統(tǒng)就要封閉代碼,誰都不能動了。但是,這是 Blink 第一次承擔(dān)這么重大的任務(wù),為了萬無一失,相關(guān)團隊又提了很多冗余性的建議。

王峰記得很清楚,一直到11月10日,還有幾個小時雙11就開始了,代碼還最后改了幾行,最終封閉。

人事已盡,唯聽天命。

11月11日,巨大的數(shù)據(jù)像海嘯一樣涌向 Blink,蔣曉偉和王峰都捏了一把汗。然而,這個年輕的引擎應(yīng)對自如。

第二天,Blink 在阿里巴巴一炮而紅。

14.jpg

2016年“雙11”

交易額定格在1207億

(5)

你以為故事結(jié)束了么?*。緊隨而來的 2017 年對于蔣曉偉來說,簡直不要更刺激。

意識到大數(shù)據(jù)引擎這么重要,阿里巴巴集團決定調(diào)整組織架構(gòu),集全公司之力發(fā)展大數(shù)據(jù)引擎,由原阿里云的首席科學(xué)家周靖人組建計算平臺事業(yè)部,在流式計算方面,把公司發(fā)展最好的三個引擎團隊合三為一。

15.jpg

周靖人

他也是阿里巴巴達摩院的“禪師”之一

這三個引擎分別是:阿里中間件團隊的 JStorm、阿里云的 Galaxy、阿里巴巴搜索團隊的 Blink。

得知大牛周靖人負責(zé)整合三個團隊,正在美國參加 Flink 官方大會 Flink Foward 的蔣曉偉和王峰內(nèi)心有點波瀾。他們知道,三個隊伍合并之后,很可能在三條技術(shù)路線之中選擇一條。

蔣曉偉當(dāng)然覺得自己的開源技術(shù)路線技術(shù)前景最好。但平心而論,Galaxy 的框架同樣非常優(yōu)秀。更關(guān)鍵的問題在于,Galaxy 一直是周靖人團隊的成果。雖然在阿里巴巴不會出現(xiàn)因為親疏遠近而偏袒某個技術(shù)路線,但不可否認周靖人一定對于 Galaxy 更為熟悉。

那時的蔣曉偉,和這個即將成為新領(lǐng)導(dǎo)的周靖人完全不熟悉,他完全無法預(yù)測將會發(fā)生什么。

我擔(dān)心,不會一回到國內(nèi),就沒工作了吧。。。。

蔣曉偉回憶。

回國之后,周靖人來找蔣曉偉,蔣曉偉的心已經(jīng)快跳到嗓子眼了。周靖人說:“我想把整合之后的團隊交給你來負責(zé),你們?nèi)艘黄鹕塘课磥淼募夹g(shù)路線,你覺得怎么樣?”

這意味著,蔣曉偉突然擁有了80人的豪華陣容。那一瞬間他在心里默念:“穩(wěn)了!”只要不是強制采用某個技術(shù)路線,他就有信心說服 Galaxy 和 JStorm 的負責(zé)人。技術(shù)擺在這里,孰優(yōu)孰劣是能講得清道理的。

蔣曉偉回憶,三個技術(shù)負責(zé)人的“談判”整整維持了一周。

大家都知道,這次技術(shù)路線的抉擇,將會影響阿里巴巴未來十年甚至更遠的技術(shù)發(fā)展,誰都不敢掉以輕心。

談到最后,爭奪的焦點就集中在 Blink 和 Galaxy 之間。

Flink 的開源生態(tài),最終說服了Galaxy 的支持者。此時的 Flink 已經(jīng)不像兩年那樣鮮有人問津,而是已經(jīng)形成了巨大的社區(qū),中國已經(jīng)有騰訊、滴滴、美團等公司開始用 Flink 建造自己的流式計算引擎。

在這個社區(qū)里,會有無數(shù)國內(nèi)外大牛對 Flink 的代碼做貢獻。建立在這個開源基座上的架構(gòu),也會發(fā)展得更快速。

至此,Blink 正式成為了阿里巴巴計算引擎的王牌軍。

(6)

王牌軍可不是白當(dāng)?shù)摹?/p>

2017年雙十一,Blink 領(lǐng)到了自己的艱巨任務(wù)——支持全集團(阿里巴巴、阿里云、菜鳥)的流式計算任務(wù)。

王峰告訴我,其實2016年雙11 Blink 承擔(dān)的搜索任務(wù),已經(jīng)是一個重頭戲,有過這個經(jīng)歷墊底,再適配很多系統(tǒng)的時候只不過是麻煩一點而已。唯獨有一樣:Blink 要接管后臺所有的交易數(shù)據(jù)的實時計算任務(wù)。

交易數(shù)據(jù)計算,是淘寶天貓業(yè)務(wù)的最核心。也是支撐背后支付、物流的核心依據(jù)。

很多其他的計算都要基于訂單數(shù)據(jù)的結(jié)果。這就像面包店的面粉一樣,無論你做什么蛋糕,都需要面粉。如果面粉的供應(yīng)出問題,那整個面包店就要關(guān)門了。所以無論面臨多大的訂單量,交易數(shù)據(jù)計算必須穩(wěn)定、快速、實時。一旦出現(xiàn)錯誤,損失無可估量。

每年雙十一狂歡晚會上的那塊大屏幕上顯示的實時成交數(shù)字,也是由訂單數(shù)據(jù)匯總而成的。也就是說,如果 Blink 當(dāng)天掛掉,不僅對淘寶天貓的運轉(zhuǎn)影響巨大,還會導(dǎo)致一個略為明顯的結(jié)果:成交量大屏一直維持“0”,一秒把人丟到全球無死角。

2014、2015、2016 這三年,這個核心任務(wù)都是由兄弟引擎 Galaxy 來承擔(dān)的。

所有人都想到一個穩(wěn)妥的方案:2017年“雙11”讓 Blink 和準(zhǔn)備退役的 Galaxy 來個雙備份,如果 Blink 臨時廢掉,還可以用 Galaxy 作為備份頂上,至少不會丟人。

然鵝,2016年雙11的成交量是1207億元,按照歷年經(jīng)驗推測,2017年的成交量八成是會超過1500億的(事實證明確實如此,達到了1682億)。而根據(jù) Galaxy 的技術(shù)架構(gòu),如果不做大量繁瑣的優(yōu)化,很可能頂不住。

初出茅廬的 Blink,就這樣成為 2017 年雙11媒體大屏“全球指定唯一必須頂上不干不行合作伙伴”。。。

雙11 當(dāng)天,兩條 Blink 鏈路互為備份。“雖然成功率基本是100%,但萬里有一,假設(shè) Blink 本身設(shè)計存在未知的缺陷,或者兩條備份鏈路的機器硬件同時壞掉,都可能導(dǎo)致災(zāi)難。”蔣曉偉回憶。

在雙11到來前一周,王峰帶領(lǐng)兄弟們已經(jīng)把 Blink 引擎調(diào)整到無以復(fù)加的好狀態(tài)。蔣曉偉想了想,又派同樣是 Facebook 回來的大牛工程師大沙去天竺法喜寺燒了一炷香。。。

2017年11月11日零點??駳g現(xiàn)場。

時鐘敲響零點,然后出現(xiàn)五秒倒計時。按照流程,留給 Blink 的計算時間只有這五秒。也就是說,00:00:05 的時候,無論如何大屏幕都會切到 Blink 給出的雙11前五秒交易總額。

這五秒,幾乎是蔣曉偉人生當(dāng)中最漫長的五秒。

1、2、3。。。

第三秒的時候,蔣曉偉面前的監(jiān)視器跳出了實時成交數(shù)據(jù)!再兩秒之后,實時交易數(shù)據(jù)被投上大屏,穹頂之下,歡聲雷動。

蔣曉偉知道,現(xiàn)場觀眾并不一定理解大屏運行原理,內(nèi)心也并沒有特地把一份掌聲送給幕后的流式計算引擎團隊。

但那一刻,他熱淚盈眶。這幾年兄弟們付出的努力值了。

17.jpg

168,269,635,159。每一個數(shù)字,對蔣曉偉和兄弟們都意味著歲月和付出。

(7)

經(jīng)過兩年雙11的考驗,已經(jīng)沒人懷疑 Blink 是阿里巴巴最強悍的計算引擎之一。

所以,不僅阿里巴巴集團所有用到流式計算的場景都會選用 Blink,Blink 還開始對外提供服務(wù)。雖然在蔣曉偉看來,各個場景的計算都可以用 Blink 來解決,但目前被應(yīng)用最多的場景有如下幾個:

1、實時統(tǒng)計分析。

在電商行業(yè),尤其是促銷的場景中,巨大的網(wǎng)絡(luò)流量涌來,形勢變幻莫測。每一秒的庫存統(tǒng)計、訂單報表,都能揭示出用戶的行為規(guī)律。對這些數(shù)據(jù)進行實時分析,就能隨時調(diào)整促銷策略。

2、在線機器學(xué)習(xí)。

用戶的行為會展現(xiàn)出他的性格和偏好,用機器學(xué)習(xí)分析一個人瀏覽商品的姿勢,就能為他精準(zhǔn)推薦可能感興趣的商品。

但是,可能一個用戶只瀏覽一分鐘,如果在這個時間段內(nèi)沒有能夠吸引他的商品,它就會退出。所以必須在一秒鐘之內(nèi),對他剛才的動作進行實時學(xué)習(xí),才能保證他第一時間看到感興趣的寶貝。

3、實時金融風(fēng)控。

在金融領(lǐng)域,技術(shù)就是金錢。每成功阻斷一次欺詐交易,就等于挽回了真金白銀。通過對一個賬戶實時行為的分析,就可以知道現(xiàn)在它有沒有進行危險交易,從而在第一時間阻斷。

4、IoT 邊緣計算。

在工廠中,每臺生產(chǎn)線都會隨時產(chǎn)生數(shù)據(jù),如果可以實時對這些數(shù)據(jù)進行分析,就可以減少生產(chǎn)線的損壞幾率,提高產(chǎn)品的良品率。

根據(jù)參數(shù)實時調(diào)整生產(chǎn)線

如此,才有了開頭一幕所說:阿里云承建的城市大腦,可以利用 Blink 來預(yù)測道路擁堵,為救護車開拓生命道路。

根據(jù)阿里云首席科學(xué)家閔萬里博士的介紹:

2018年,城市大腦第一次出國,被部署在馬來西亞吉隆坡,把救護車到達現(xiàn)場的時間縮短了 48.9%。

借助工業(yè)大腦,流式計算實時判斷生產(chǎn)線的健康狀況,幫助世界第一大光伏企業(yè)協(xié)鑫光伏提高了良品率1%,每年可以節(jié)省上億元的無謂浪費。

2018年12月20日,阿里巴巴將 Flink 的旗艦會議 Flink Foward 第一次引入中國,現(xiàn)場座無虛席。蔣曉偉、王峰和流式計算團隊的每一個人,在過去的三年都親眼見證了 Flink 從踽踽獨行到集結(jié)成軍。

為了感謝社區(qū)的幫助,在這次會議上周靖人宣布,在未來會把基于 Flink 修改的 Blink 流式計算引擎開源。從2019年1月開始,所有人都可以查閱這個支持了雙11、支持了城市大腦、支持了工業(yè)IoT等無數(shù)頂級計算的引擎代碼。

也就是在這一年,王峰正式接替蔣曉偉,成為流式計算的新掌門。而蔣曉偉則朝著他的“完美夢想”更進一步,帶著一幫兄弟在此基礎(chǔ)上研究“帶有流式計算引擎的數(shù)據(jù)存儲系統(tǒng)”——交互式查詢系統(tǒng),讓這個引擎能夠解決更多通用的計算問題。

帶有流式計算引擎的數(shù)據(jù)存儲系統(tǒng),聽起來有些不知所云。其實,這個世界上最經(jīng)典的這類系統(tǒng),其實就是我們的大腦。

我們一生中會接受各種信息,這些信息共同構(gòu)成大腦的資料庫,幫助我們預(yù)測未來。每當(dāng)有新的信息進來,我們都會根據(jù)這一點點信息增量微調(diào)我們對于未來的預(yù)測。

這種調(diào)整,毫無疑問是實時的。我們的祖先不小心觸摸野火,從那一刻開始就會告訴自己和家人小心火焰。

我們依靠對世界的萬億次反饋,發(fā)現(xiàn)了萬有引力,發(fā)現(xiàn)了相對論,發(fā)現(xiàn)了量子力學(xué)。

正是千萬人實時更新的預(yù)測能力,構(gòu)成了我們的文明,也書寫了我們的歷史。

以前,所有關(guān)于未來的預(yù)測都在我們的腦海里,如今,我們終于有機會在軀體之外,利用人類的武器——計算力——建造起一個碩大的預(yù)測引擎。

角落里,這些技術(shù)英雄笑起來安靜而羞澀。但正因他們存在,人類面對未來,再也不是手無寸鐵。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!

相關(guān)標(biāo)簽
阿里巴巴
滴滴100萬捐基金會

相關(guān)文章

  • 阿里剛換帥,京東忙換將:新時代號角吹響

    6月26日早間,京東物流在港交所發(fā)布公告稱,京東物流CEO余睿因個人身體原因辭任執(zhí)行董事、首席執(zhí)行官及授權(quán)代表,原京東產(chǎn)發(fā)CEO胡偉將擔(dān)任京東物流CEO。同時,據(jù)《科創(chuàng)板日報》報道,京東集團將新成立創(chuàng)新零售部,將整合七鮮、拼拼等業(yè)務(wù)成為獨立業(yè)務(wù)單元,這一業(yè)務(wù)將深入零售線下業(yè)務(wù)布局,探索創(chuàng)新模式。由此

    標(biāo)簽:
    阿里巴巴
    京東商城
  • 阿里巴巴變革,盒馬“一馬當(dāng)先”

    隨著數(shù)字經(jīng)濟成為當(dāng)前經(jīng)濟社會發(fā)展的“新寵”,諸多數(shù)字企業(yè)也開始走上了發(fā)展的快車道。而作為國內(nèi)互聯(lián)網(wǎng)大廠的阿里巴巴集團,為了打造數(shù)字經(jīng)濟時代的商業(yè)、金融、物流、云計算和大數(shù)據(jù)等新一代商業(yè)基礎(chǔ)設(shè)施,就于前不久啟動了“1+6+N”的組織變革,宣布云智能、菜鳥、盒馬、阿里國際數(shù)字商業(yè)等多個業(yè)務(wù)集團和公司,都

    標(biāo)簽:
    阿里巴巴
  • 阿里重回創(chuàng)業(yè)時代

    文/零度出品/節(jié)點商業(yè)組6月20日,阿里巴巴控股集團董事會主席兼CEO張勇通過全員信宣布,阿里1+6+N的全新業(yè)務(wù)集群基本成型,各業(yè)務(wù)集團董事會已開始運行,多個業(yè)務(wù)的上市和融資計劃也已開展,控股集團將主要承擔(dān)創(chuàng)新孵化大本營角色。3個月前,阿里宣布了“1+6+N”的組織結(jié)構(gòu),即在阿里巴巴集團之下,設(shè)立

    標(biāo)簽:
    阿里巴巴
  • 阿里組織變革新階段:蓄力拉弓,一箭向前

    自3月28日宣布“1+6+N”分拆、5月18日宣布分業(yè)務(wù)啟動獨立融資或上市計劃以來,阿里持續(xù)推動著這場史無前例的組織變革落地,謀求更高質(zhì)量發(fā)展。6月20日,阿里巴巴控股集團董事會主席兼CEO張勇通過全員信宣布,他將于今年9月10日卸任現(xiàn)有董事會主席兼CEO職務(wù),轉(zhuǎn)而全心擔(dān)任阿里云智能集團董事長兼CE

    標(biāo)簽:
    阿里巴巴
  • 阿里巴巴:改革穩(wěn)定靠人,銳意進取也靠人

    逍遙子,扶搖直上九萬里。

    標(biāo)簽:
    阿里巴巴

熱門排行

信息推薦