摘要：電商的秒殺和搶購，從技術(shù)的角度來說，會對 Web 系統(tǒng)產(chǎn)生巨大的考驗(yàn)。本期《問底》，徐漢彬?qū)Т蠹谊P(guān)注秒殺和搶購的技術(shù)實(shí)現(xiàn)和優(yōu)化，同時(shí)，從技術(shù)層面揭開，為什么我們總是不容易搶到火車票的原因。
　　【導(dǎo)讀】徐漢彬曾在阿里巴巴和騰訊從事 4 年多的技術(shù)研發(fā)工作，負(fù)責(zé)過日請求量過億的 Web 系統(tǒng)升級與重構(gòu)，目前在小滿科技創(chuàng)業(yè)，從事 SaaS 服務(wù)技術(shù)建設(shè)。
　　 
　　電商的秒殺和搶購，對我們來說，都不是一個(gè)陌生的東西。然而，從技術(shù)的角度來說，這對于 Web 系統(tǒng)是一個(gè)巨大的考驗(yàn)。當(dāng)一個(gè) Web 系統(tǒng)，在一秒鐘內(nèi)收到數(shù)以萬計(jì)甚至更多請求時(shí)，系統(tǒng)的優(yōu)化和穩(wěn)定至關(guān)重要。這次我們會關(guān)注秒殺和搶購的技術(shù)實(shí)現(xiàn)和優(yōu)化，同時(shí)，從技術(shù)層面揭開，為什么我們總是不容易搶到火車票的原因？
　　一、大規(guī)模并發(fā)帶來的挑戰(zhàn)
　　在過去的工作中，我曾經(jīng)面對過 5w 每秒的高并發(fā)秒殺功能，在這個(gè)過程中，整個(gè) Web 系統(tǒng)遇到了很多的問題和挑戰(zhàn)。如果 Web 系統(tǒng)不做針對性的優(yōu)化，會輕而易舉地陷入到異常狀態(tài)。我們現(xiàn)在一起來討論下，優(yōu)化的思路和方法哈。
　　1. 請求接口的合理設(shè)計(jì)
　　一個(gè)秒殺或者搶購頁面，通常分為 2 個(gè)部分，一個(gè)是靜態(tài)的 HTML 等內(nèi)容，另一個(gè)就是參與秒殺的 Web 后臺請求接口。
　　通常靜態(tài) HTML 等內(nèi)容，是通過 CDN 的部署，一般壓力不大，核心瓶頸實(shí)際上在后臺請求接口上。這個(gè)后端接口，必須能夠支持高并發(fā)請求，同時(shí)，非常重要的一點(diǎn)，必須盡可能 " 快 "，在最短的時(shí)間里返回用戶的請求結(jié)果。為了實(shí)現(xiàn)盡可能快這一點(diǎn)，接口的后端存儲使用內(nèi)存級別的操作會更好一點(diǎn)。仍然直接面向 MySQL 之類的存儲是不合適的，如果有這種復(fù)雜業(yè)務(wù)的需求，都建議采用異步寫入。
　　當(dāng)然，也有一些秒殺和搶購采用 " 滯后反饋 "，就是說秒殺當(dāng)下不知道結(jié)果，一段時(shí)間后才可以從頁面中看到用戶是否秒殺成功。但是，這種屬于 " 偷懶 " 行為，同時(shí)給用戶的體驗(yàn)也不好，容易被用戶認(rèn)為是 " 暗箱操作 "。
　　2. 高并發(fā)的挑戰(zhàn)：一定要 " 快 "
　　我們通常衡量一個(gè) Web 系統(tǒng)的吞吐率的指標(biāo)是 QPS（Query Per Second，每秒處理請求數(shù)），解決每秒數(shù)萬次的高并發(fā)場景，這個(gè)指標(biāo)非常關(guān)鍵。舉個(gè)例子，我們假設(shè)處理一個(gè)業(yè)務(wù)請求平均響應(yīng)時(shí)間為 100ms，同時(shí)，系統(tǒng)內(nèi)有 20 臺 Apache 的 Web 服務(wù)器，配置 MaxClients 為 500 個(gè)（表示 Apache 的最大連接數(shù)目）。
　　那么，我們的 Web 系統(tǒng)的理論峰值 QPS 為（理想化的計(jì)算方式）：
　　20*500/0.1 = 100000 （10 萬 QPS）
　　咦？我們的系統(tǒng)似乎很強(qiáng)大，1 秒鐘可以處理完 10 萬的請求，5w/s 的秒殺似乎是 " 紙老虎 " 哈。實(shí)際情況，當(dāng)然沒有這么理想。在高并發(fā)的實(shí)際場景下，機(jī)器都處于高負(fù)載的狀態(tài)，在這個(gè)時(shí)候平均響應(yīng)時(shí)間會被大大增加。
　　就 Web 服務(wù)器而言，Apache 打開了越多的連接進(jìn)程，CPU 需要處理的上下文切換也越多，額外增加了 CPU 的消耗，然后就直接導(dǎo)致平均響應(yīng)時(shí)間增加。因此上述的 MaxClient 數(shù)目，要根據(jù) CPU、內(nèi)存等硬件因素綜合考慮，絕對不是越多越好?？梢酝ㄟ^ Apache 自帶的 abench 來測試一下，取一個(gè)合適的值。然后，我們選擇內(nèi)存操作級別的存儲的 Redis，在高并發(fā)的狀態(tài)下，存儲的響應(yīng)時(shí)間至關(guān)重要。網(wǎng)絡(luò)帶寬雖然也是一個(gè)因素，不過，這種請求數(shù)據(jù)包一般比較小，一般很少成為請求的瓶頸。負(fù)載均衡成為系統(tǒng)瓶頸的情況比較少，在這里不做討論哈。
　　那么問題來了，假設(shè)我們的系統(tǒng)，在 5w/s 的高并發(fā)狀態(tài)下，平均響應(yīng)時(shí)間從 100ms 變?yōu)?nbsp;250ms（實(shí)際情況，甚至更多）：
　　20*500/0.25 = 40000 （4 萬 QPS）
　　于是，我們的系統(tǒng)剩下了 4w 的 QPS，面對 5w 每秒的請求，中間相差了 1w。
　　然后，這才是真正的惡夢開始。舉個(gè)例子，高速路口，1 秒鐘來 5 部車，每秒通過 5 部車，高速路口運(yùn)作正常。突然，這個(gè)路口 1 秒鐘只能通過 4 部車，車流量仍然依舊，結(jié)果必定出現(xiàn)大塞車。（5 條車道忽然變成 4 條車道的感覺）
　　同理，某一個(gè)秒內(nèi)，20*500 個(gè)可用連接進(jìn)程都在滿負(fù)荷工作中，卻仍然有 1 萬個(gè)新來請求，沒有連接進(jìn)程可用，系統(tǒng)陷入到異常狀態(tài)也是預(yù)期之內(nèi)。
　　其實(shí)在正常的非高并發(fā)的業(yè)務(wù)場景中，也有類似的情況出現(xiàn)，某個(gè)業(yè)務(wù)請求接口出現(xiàn)問題，響應(yīng)時(shí)間極慢，將整個(gè) Web 請求響應(yīng)時(shí)間拉得很長，逐漸將 Web 服務(wù)器的可用連接數(shù)占滿，其他正常的業(yè)務(wù)請求，無連接進(jìn)程可用。
　　更可怕的問題是，是用戶的行為特點(diǎn)，系統(tǒng)越是不可用，用戶的點(diǎn)擊越頻繁，惡性循環(huán)最終導(dǎo)致 " 雪崩 "（其中一臺 Web 機(jī)器掛了，導(dǎo)致流量分散到其他正常工作的機(jī)器上，再導(dǎo)致正常的機(jī)器也掛，然后惡性循環(huán)），將整個(gè) Web 系統(tǒng)拖垮。
　　3. 重啟與過載保護(hù)
　　如果系統(tǒng)發(fā)生 " 雪崩 "，貿(mào)然重啟服務(wù)，是無法解決問題的。最常見的現(xiàn)象是，啟動起來后，立刻掛掉。這個(gè)時(shí)候，最好在入口層將流量拒絕，然后再將重啟。如果是 redis/memcache 這種服務(wù)也掛了，重啟的時(shí)候需要注意 " 預(yù)熱 "，并且很可能需要比較長的時(shí)間。
　　秒殺和搶購的場景，流量往往是超乎我們系統(tǒng)的準(zhǔn)備和想象的。這個(gè)時(shí)候，過載保護(hù)是必要的。如果檢測到系統(tǒng)滿負(fù)載狀態(tài)，拒絕請求也是一種保護(hù)措施。在前端設(shè)置過濾是最簡單的方式，但是，這種做法是被用戶 " 千夫所指 " 的行為。更合適一點(diǎn)的是，將過載保護(hù)設(shè)置在 CGI 入口層，快速將客戶的直接請求返回。
　　二、作弊的手段：進(jìn)攻與防守
　　秒殺和搶購收到了 " 海量 " 的請求，實(shí)際上里面的水分是很大的。不少用戶，為了 " 搶 " 到商品，會使用 " 刷票工具 " 等類型的輔助工具，幫助他們發(fā)送盡可能多的請求到服務(wù)器。還有一部分高級用戶，制作強(qiáng)大的自動請求腳本。這種做法的理由也很簡單，就是在參與秒殺和搶購的請求中，自己的請求數(shù)目占比越多，成功的概率越高。
　　這些都是屬于 " 作弊的手段 "，不過，有 " 進(jìn)攻 " 就有 " 防守 "，這是一場沒有硝煙的戰(zhàn)斗哈。
　　1. 同一個(gè)賬號，一次性發(fā)出多個(gè)請求
　　部分用戶通過瀏覽器的插件或者其他工具，在秒殺開始的時(shí)間里，以自己的賬號，一次發(fā)送上百甚至更多的請求。實(shí)際上，這樣的用戶破壞了秒殺和搶購的公平性。
　　這種請求在某些沒有做數(shù)據(jù)安全處理的系統(tǒng)里，也可能造成另外一種破壞，導(dǎo)致某些判斷條件被繞過。例如一個(gè)簡單的領(lǐng)取邏輯，先判斷用戶是否有參與記錄，如果沒有則領(lǐng)取成功，最后寫入到參與記錄中。這是個(gè)非常簡單的邏輯，但是，在高并發(fā)的場景下，存在深深的漏洞。多個(gè)并發(fā)請求通過負(fù)載均衡服務(wù)器，分配到內(nèi)網(wǎng)的多臺 Web 服務(wù)器，它們首先向存儲發(fā)送查詢請求，然后，在某個(gè)請求成功寫入?yún)⑴c記錄的時(shí)間差內(nèi)，其他的請求獲查詢到的結(jié)果都是 " 沒有參與記錄 "。這里，就存在邏輯判斷被繞過的風(fēng)險(xiǎn)。
　　應(yīng)對方案：
　　在程序入口處，一個(gè)賬號只允許接受 1 個(gè)請求，其他請求過濾。不僅解決了同一個(gè)賬號，發(fā)送 N 個(gè)請求的問題，還保證了后續(xù)的邏輯流程的安全。實(shí)現(xiàn)方案，可以通過 Redis 這種內(nèi)存緩存服務(wù)，寫入一個(gè)標(biāo)志位（只允許 1 個(gè)請求寫成功，結(jié)合 watch 的樂觀鎖的特性），成功寫入的則可以繼續(xù)參加。
　　或者，自己實(shí)現(xiàn)一個(gè)服務(wù)，將同一個(gè)賬號的請求放入一個(gè)隊(duì)列中，處理完一個(gè)，再處理下一個(gè)。
　　2. 多個(gè)賬號，一次性發(fā)送多個(gè)請求
　　很多公司的賬號注冊功能，在發(fā)展早期幾乎是沒有限制的，很容易就可以注冊很多個(gè)賬號。因此，也導(dǎo)致了出現(xiàn)了一些特殊的工作室，通過編寫自動注冊腳本，積累了一大批 " 僵尸賬號 "，數(shù)量龐大，幾萬甚至幾十萬的賬號不等，專門做各種刷的行為（這就是微博中的 " 僵尸粉 " 的來源）。舉個(gè)例子，例如微博中有轉(zhuǎn)發(fā)抽獎的活動，如果我們使用幾萬個(gè) " 僵尸號 " 去混進(jìn)去轉(zhuǎn)發(fā)，這樣就可以大大提升我們中獎的概率。
　　這種賬號，使用在秒殺和搶購里，也是同一個(gè)道理。例如，iPhone 官網(wǎng)的搶購，火車票黃牛黨。
　　這種場景，可以通過檢測指定機(jī)器 IP 請求頻率就可以解決，如果發(fā)現(xiàn)某個(gè) IP 請求頻率很高，可以給它彈出一個(gè)驗(yàn)證碼或者直接禁止它的請求：
　　彈出驗(yàn)證碼，最核心的追求，就是分辨出真實(shí)用戶。因此，大家可能經(jīng)常發(fā)現(xiàn)，網(wǎng)站彈出的驗(yàn)證碼，有些是 " 鬼神亂舞 " 的樣子，有時(shí)讓我們根本無法看清。他們這樣做的原因，其實(shí)也是為了讓驗(yàn)證碼的圖片不被輕易識別，因?yàn)閺?qiáng)大的 " 自動腳本 " 可以通過圖片識別里面的字符，然后讓腳本自動填寫驗(yàn)證碼。實(shí)際上，有一些非常創(chuàng)新的驗(yàn)證碼，效果會比較好，例如給你一個(gè)簡單問題讓你回答，或者讓你完成某些簡單操作（例如百度貼吧的驗(yàn)證碼）。
　　直接禁止 IP，實(shí)際上是有些粗暴的，因?yàn)橛行┱鎸?shí)用戶的網(wǎng)絡(luò)場景恰好是同一出口 IP 的，可能會有 " 誤傷 "。但是這一個(gè)做法簡單高效，根據(jù)實(shí)際場景使用可以獲得很好的效果。
　　3. 多個(gè)賬號，不同 IP 發(fā)送不同請求
　　所謂道高一尺，魔高一丈。有進(jìn)攻，就會有防守，永不休止。這些 " 工作室 "，發(fā)現(xiàn)你對單機(jī) IP 請求頻率有控制之后，他們也針對這種場景，想出了他們的 " 新進(jìn)攻方案 "，就是不斷改變 IP。
　　有同學(xué)會好奇，這些隨機(jī) IP 服務(wù)怎么來的。有一些是某些機(jī)構(gòu)自己占據(jù)一批獨(dú)立 IP，然后做成一個(gè)隨機(jī)代理 IP 的服務(wù)，有償提供給這些 " 工作室 " 使用。還有一些更為黑暗一點(diǎn)的，就是通過木馬黑掉普通用戶的電腦，這個(gè)木馬也不破壞用戶電腦的正常運(yùn)作，只做一件事情，就是轉(zhuǎn)發(fā) IP 包，普通用戶的電腦被變成了 IP 代理出口。通過這種做法，黑客就拿到了大量的獨(dú)立 IP，然后搭建為隨機(jī) IP 服務(wù)，就是為了掙錢。
　　說實(shí)話，這種場景下的請求，和真實(shí)用戶的行為，已經(jīng)基本相同了，想做分辨很困難。再做進(jìn)一步的限制很容易 " 誤傷 " 真實(shí)用戶，這個(gè)時(shí)候，通常只能通過設(shè)置業(yè)務(wù)門檻高來限制這種請求了，或者通過賬號行為的 " 數(shù)據(jù)挖掘 " 來提前清理掉它們。
　　僵尸賬號也還是有一些共同特征的，例如賬號很可能屬于同一個(gè)號碼段甚至是連號的，活躍度不高，等級低，資料不全等等。根據(jù)這些特點(diǎn)，適當(dāng)設(shè)置參與門檻，例如限制參與秒殺的賬號等級。通過這些業(yè)務(wù)手段，也是可以過濾掉一些僵尸號。
　　4. 火車票的搶購
　　看到這里，同學(xué)們是否明白你為什么搶不到火車票？如果你只是老老實(shí)實(shí)地去搶票，真的很難。通過多賬號的方式，火車票的黃牛將很多車票的名額占據(jù)，部分強(qiáng)大的黃牛，在處理驗(yàn)證碼方面，更是 " 技高一籌 "。
　　高級的黃牛刷票時(shí)，在識別驗(yàn)證碼的時(shí)候使用真實(shí)的人，中間搭建一個(gè)展示驗(yàn)證碼圖片的中轉(zhuǎn)軟件服務(wù)，真人瀏覽圖片并填寫下真實(shí)驗(yàn)證碼，返回給中轉(zhuǎn)軟件。對于這種方式，驗(yàn)證碼的保護(hù)限制作用被廢除了，目前也沒有很好的解決方案。
　　因?yàn)榛疖嚻笔歉鶕?jù)身份證實(shí)名制的，這里還有一個(gè)火車票的轉(zhuǎn)讓操作方式。大致的操作方式，是先用買家的身份證開啟一個(gè)搶票工具，持續(xù)發(fā)送請求，黃牛賬號選擇退票，然后黃牛買家成功通過自己的身份證購票成功。當(dāng)一列車廂沒有票了的時(shí)候，是沒有很多人盯著看的，況且黃牛們的搶票工具也很強(qiáng)大，即使讓我們看見有退票，我們也不一定能搶得過他們哈。
　　最終，黃牛順利將火車票轉(zhuǎn)移到買家的身份證下。
　　解決方案：
　　并沒有很好的解決方案，唯一可以動心思的也許是對賬號數(shù)據(jù)進(jìn)行 " 數(shù)據(jù)挖掘 "，這些黃牛賬號也是有一些共同特征的，例如經(jīng)常搶票和退票，節(jié)假日異?；钴S等等。將它們分析出來，再做進(jìn)一步處理和甄別。
　　三、高并發(fā)下的數(shù)據(jù)安全
　　我們知道在多線程寫入同一個(gè)文件的時(shí)候，會存現(xiàn) " 線程安全 " 的問題（多個(gè)線程同時(shí)運(yùn)行同一段代碼，如果每次運(yùn)行結(jié)果和單線程運(yùn)行的結(jié)果是一樣的，結(jié)果和預(yù)期相同，就是線程安全的）。如果是 MySQL 數(shù)據(jù)庫，可以使用它自帶的鎖機(jī)制很好的解決問題，但是，在大規(guī)模并發(fā)的場景中，是不推薦使用 MySQL 的。秒殺和搶購的場景中，還有另外一個(gè)問題，就是 " 超發(fā) "，如果在這方面控制不慎，會產(chǎn)生發(fā)送過多的情況。我們也曾經(jīng)聽說過，某些電商搞搶購活動，買家成功拍下后，商家卻不承認(rèn)訂單有效，拒絕發(fā)貨。這里的問題，也許并不一定是商家奸詐，而是系統(tǒng)技術(shù)層面存在超發(fā)風(fēng)險(xiǎn)導(dǎo)致的。
　　1. 超發(fā)的原因
　　假設(shè)某個(gè)搶購場景中，我們一共只有 100 個(gè)商品，在最后一刻，我們已經(jīng)消耗了 99 個(gè)商品，僅剩最后一個(gè)。這個(gè)時(shí)候，系統(tǒng)發(fā)來多個(gè)并發(fā)請求，這批請求讀取到的商品余量都是 99 個(gè)，然后都通過了這一個(gè)余量判斷，最終導(dǎo)致超發(fā)。（同文章前面說的場景）
　　在上面的這個(gè)圖中，就導(dǎo)致了并發(fā)用戶 B 也 " 搶購成功 "，多讓一個(gè)人獲得了商品。這種場景，在高并發(fā)的情況下非常容易出現(xiàn)。
　　2. 悲觀鎖思路
　　解決線程安全的思路很多，可以從 " 悲觀鎖 " 的方向開始討論。
　　悲觀鎖，也就是在修改數(shù)據(jù)的時(shí)候，采用鎖定狀態(tài)，排斥外部請求的修改。遇到加鎖的狀態(tài)，就必須等待。
　　雖然上述的方案的確解決了線程安全的問題，但是，別忘記，我們的場景是 " 高并發(fā) "。也就是說，會很多這樣的修改請求，每個(gè)請求都需要等待 " 鎖 "，某些線程可能永遠(yuǎn)都沒有機(jī)會搶到這個(gè) " 鎖 "，這種請求就會死在那里。同時(shí)，這種請求會很多，瞬間增大系統(tǒng)的平均響應(yīng)時(shí)間，結(jié)果是可用連接數(shù)被耗盡，系統(tǒng)陷入異常。
　　3. FIFO 隊(duì)列思路
　　那好，那么我們稍微修改一下上面的場景，我們直接將請求放入隊(duì)列中的，采用 FIFO（First Input First Output，先進(jìn)先出），這樣的話，我們就不會導(dǎo)致某些請求永遠(yuǎn)獲取不到鎖?？吹竭@里，是不是有點(diǎn)強(qiáng)行將多線程變成單線程的感覺哈。
　　然后，我們現(xiàn)在解決了鎖的問題，全部請求采用 " 先進(jìn)先出 " 的隊(duì)列方式來處理。那么新的問題來了，高并發(fā)的場景下，因?yàn)檎埱蠛芏?，很可能一瞬間將隊(duì)列內(nèi)存 " 撐爆 "，然后系統(tǒng)又陷入到了異常狀態(tài)?；蛘咴O(shè)計(jì)一個(gè)極大的內(nèi)存隊(duì)列，也是一種方案，但是，系統(tǒng)處理完一個(gè)隊(duì)列內(nèi)請求的速度根本無法和瘋狂涌入隊(duì)列中的數(shù)目相比。也就是說，隊(duì)列內(nèi)的請求會越積累越多，最終 Web 系統(tǒng)平均響應(yīng)時(shí)候還是會大幅下降，系統(tǒng)還是陷入異常。
　　4. 樂觀鎖思路
　　這個(gè)時(shí)候，我們就可以討論一下 " 樂觀鎖 " 的思路了。樂觀鎖，是相對于 " 悲觀鎖 " 采用更為寬松的加鎖機(jī)制，大都是采用帶版本號（Version）更新。實(shí)現(xiàn)就是，這個(gè)數(shù)據(jù)所有請求都有資格去修改，但會獲得一個(gè)該數(shù)據(jù)的版本號，只有版本號符合的才能更新成功，其他的返回?fù)屬徥?。這樣的話，我們就不需要考慮隊(duì)列的問題，不過，它會增大 CPU 的計(jì)算開銷。但是，綜合來說，這是一個(gè)比較好的解決方案。
　　有很多軟件和服務(wù)都 " 樂觀鎖 " 功能的支持，例如 Redis 中的 watch 就是其中之一。通過這個(gè)實(shí)現(xiàn)，我們保證了數(shù)據(jù)的安全。
　　四、小結(jié)
　　互聯(lián)網(wǎng)正在高速發(fā)展，使用互聯(lián)網(wǎng)服務(wù)的用戶越多，高并發(fā)的場景也變得越來越多。電商秒殺和搶購，是兩個(gè)比較典型的互聯(lián)網(wǎng)高并發(fā)場景。雖然我們解決問題的具體技術(shù)方案可能千差萬別，但是遇到的挑戰(zhàn)卻是相似的，因此解決問題的思路也異曲同工。
　　更多《問底》內(nèi)容
　　《問底》是 CSDN 云計(jì)算頻道新建欄目，以實(shí)踐為本，分享個(gè)人對于新時(shí)代軟件架構(gòu)與研發(fā)的深刻見解。在含有 "【問底】" 字樣標(biāo)題的文章中，你會看到某個(gè)國外 IT 巨頭的架構(gòu)分享，會看到國內(nèi)資深工程師對某個(gè)技術(shù)的實(shí)踐總結(jié)，更會看到一系列關(guān)于某個(gè)新技術(shù)的探索。《問底》邀請對技術(shù)具有獨(dú)特 / 深刻見解的你一起打造一片只屬于技術(shù)的天空，詳情可郵件至zhonghao@csdn.net。
　　CSDN 誠邀您參加中國大數(shù)據(jù)有獎大調(diào)查活動，只需回答 23 個(gè)問題就有機(jī)會獲得最高價(jià)值 2700 元的大獎（共 10 個(gè)）， 速度參與進(jìn)來吧！
　　全國大數(shù)據(jù)創(chuàng)新項(xiàng)目評選活動目前也在如火如荼進(jìn)行中，詳情點(diǎn)擊這里。
　　2014 中國大數(shù)據(jù)技術(shù)大會（Big Data Technology Conference 2014，BDTC 2014）將于 2014 年 12 月 12 日 -14 日在北京新云南皇冠假日酒店召開。傳承自 2008 年，歷經(jīng)七屆沉淀，" 中國大數(shù)據(jù)技術(shù)大會 " 是目前國內(nèi)最具影響、規(guī)模最大的大數(shù)據(jù)領(lǐng)域技術(shù)盛會。本屆會議，你不僅可以了解到 Apache Hadoop 提交者 Uma Maheswara Rao G（兼項(xiàng)目管理委員會成員）、Yi Liu，以及 Apache Hadoop 和 Tez 項(xiàng)目管理委員會成員 Bikas Saha 等分享的通用大數(shù)據(jù)開源項(xiàng)目的最新成果和發(fā)展趨勢，還將斬獲來自騰訊、阿里、Cloudera、LinkedIn、網(wǎng)易等機(jī)構(gòu)的數(shù)十場干貨分享。當(dāng)下門票團(tuán)購還有些許優(yōu)惠， 預(yù)購從速。
原文地址：http://iphone.myzaker.com/l.php?l=547d1be81bc8e0ae578b4569