如題:請不要將數(shù)據(jù)中臺做成BI!
筆者在為企業(yè)做數(shù)據(jù)中臺設(shè)計規(guī)劃時,經(jīng)常有客戶這樣叮囑。話里話外都是對“數(shù)據(jù)中臺”滿滿的期待和對“BI”的內(nèi)心的失望!為什么會這樣呢?BI作為IT界“顏值擔(dān)當(dāng)”,那可是一直是一項叱咤風(fēng)云的數(shù)據(jù)應(yīng)用技術(shù)。曾幾何時,為了一張報表、一個大屏,有多少企業(yè)都愿意為其“豪擲千金”!為什么現(xiàn)在很多企業(yè)又都對其失去了興趣了呢?今天我們一起聊聊這個話題!歡迎留言區(qū)談?wù)勀挠^點(diǎn)。
— 01 —
Business Intelligence(商業(yè)智能),簡稱BI。BI一詞最早是由Gartner在1996提出的,Gartner 將商業(yè)智能定義為:描述了一系列的概念和方法,通過應(yīng)用基于事實的支持系統(tǒng)輔助商業(yè)決策的制定。也有的說BI這個概念,早在1989年 IBM的研究員就開始使用了,他將商業(yè)智能定義為:對事物相互關(guān)系的一種理解能力,并依靠這種能力去指導(dǎo)決策,以達(dá)到預(yù)期的目標(biāo)。但不論是Gartner提出的還是IBM提出的,不論是1989年還是1996年,總的來說,BI不是一個新事物,而且已經(jīng)有近30年的歷史了。BI為企業(yè)提供了一種迅速分析數(shù)據(jù)的技術(shù)和方法,包括收集、管理和分析數(shù)據(jù),通過將這些數(shù)據(jù)轉(zhuǎn)化為有用的信息,從而幫助企業(yè)進(jìn)行決策。可以肯定的是,在過去的30多年里,BI還是在一定程度上發(fā)揮了它的價值的,例如:給領(lǐng)導(dǎo)提供了一些輔助決策的數(shù)據(jù)報表,以及一些漂亮的可視化數(shù)字大屏,等等。隨著數(shù)字化的不斷發(fā)展,人們對數(shù)據(jù)洞察力的期望越來越高,漸漸的人們發(fā)現(xiàn):不是企業(yè)不再需要BI,而是成功的BI實在太少了。那些原本為領(lǐng)導(dǎo)提供決策的數(shù)據(jù)報表,往往被領(lǐng)導(dǎo)束之高閣,而那些“漂亮的數(shù)字大屏”也淪為了“面子工程”,只有在上級領(lǐng)導(dǎo)視察,或外部單位考察的時候才拿出來“裝裝門面”。說好的“數(shù)據(jù)驅(qū)動”呢?,說好的“幫助企業(yè)做出明智的業(yè)務(wù)決策”呢?除了上了一個BI工具,開發(fā)了一套數(shù)據(jù)報表,似乎什么也沒剩下!就這樣,傳統(tǒng)BI項目的失敗率一直居高不下,這讓越來越多的企業(yè)對其失去了信心!
— 02 —
說到“傳統(tǒng)BI的失敗”,90%的人都會想到的是:傳統(tǒng)的數(shù)據(jù)倉庫、數(shù)據(jù)分析技術(shù)不能滿足日益增長的客戶用數(shù)需求,企業(yè)應(yīng)該需要有一個更靈活、更敏捷、更智能的BI工具。的確?!皞鹘y(tǒng)BI工具不好用,在功能、性能方面應(yīng)對企業(yè)日益增長的數(shù)據(jù)量和用數(shù)需求顯得越來越力不從心”!這確實是一個導(dǎo)致傳統(tǒng)BI項目不好用、沒人用的一個原因。但這還不是傳統(tǒng)BI項目失敗的本質(zhì)原因。根據(jù)筆者多年在數(shù)據(jù)領(lǐng)域的經(jīng)驗和觀察,BI項目之所以失敗,本質(zhì)上概括為以下兩方面原因:很多企業(yè)實施BI項目,都是通過BI領(lǐng)域的供應(yīng)商去實施的,在既定的項目框架(目標(biāo)、范圍)下,由供應(yīng)商負(fù)責(zé)需求調(diào)研、方案設(shè)計、數(shù)據(jù)建模、數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析界面開發(fā)等項目全過程。而在這個過程中,企業(yè)作為業(yè)主方參與的深度不足,技術(shù)和知識沒有從供應(yīng)商哪里很好的傳遞下來,從而導(dǎo)致將 BI 項目做成了一個一次性的“工具型項目”。殊不知,數(shù)據(jù)驅(qū)動需要持續(xù)的數(shù)據(jù)運(yùn)營。企業(yè)的管理和業(yè)務(wù)是靈活多變的,缺乏持續(xù)的數(shù)據(jù)運(yùn)營機(jī)制,沒有配套的數(shù)據(jù)分析人員,而只是依靠供應(yīng)商提供的幾個固定的分析界面、固定的數(shù)據(jù)報表,再加上數(shù)據(jù)更新不及時,這樣的BI 注定是用不起來的。在傳統(tǒng)BI的實施過程中,常常出現(xiàn)一期項目看起來效果不錯,但企業(yè)后續(xù)的新需求、新項目就變得遙遙無期,或者爛尾。這是項目制 BI 固有的頑疾!如果說,將 BI 作為一個“工具型項目”、“項目型項目”去做,由供應(yīng)商交付項目驗收之后,BI工具就被束之高閣,是傳統(tǒng)BI項目失敗的一個核心原因。而另一個原因就是:沒把 BI 當(dāng)做一個“項目”去做。大家都知道項目有三個要素:時間、成本和質(zhì)量。而這三個要素傳統(tǒng) BI 項目做的都不好。時間上。業(yè)務(wù)需求不明確,業(yè)務(wù)與IT之間往往需要來回倒騰、確定需求。當(dāng)然也存在技術(shù)上的延遲問題,導(dǎo)致BI項目無法按計劃及時完成。模糊的需求、技術(shù)的延遲,拉長了交付的周期,等需求開發(fā)完了,發(fā)現(xiàn)業(yè)務(wù)需求已經(jīng)發(fā)生了變化。成本上。企業(yè)采購機(jī)構(gòu)BI軟件往往需要耗費(fèi)大量成本,尤其是一些國外的軟件,例如:SAP BO、Oracle BIEE等。另外,BI項目要獲得一個較好的分析結(jié)果就需要對數(shù)據(jù)進(jìn)行有效的處理,缺乏數(shù)據(jù)治理能力的BI項目,往往耗費(fèi)大量的人工成本,來對臟數(shù)據(jù)清理和大量長尾數(shù)據(jù)的處理,既消耗了大量的成本,又出不來有價值的分析。質(zhì)量上。數(shù)據(jù)的不及時、不完整、不準(zhǔn)確是數(shù)據(jù)分析項目最大的問題。另一個問題是:太技術(shù)導(dǎo)向,導(dǎo)致業(yè)務(wù)與技術(shù)之間脫節(jié),從而使得BI項目的目標(biāo)偏航,讓 BI 淪為老板看的報表系統(tǒng)而不是當(dāng)作整個公司數(shù)據(jù)驅(qū)動系統(tǒng)。
— 03 —
數(shù)據(jù)中臺的誕生!
毋庸置疑,數(shù)據(jù)是有價值的,將數(shù)據(jù)作為生產(chǎn)要素,把數(shù)據(jù)比作石油、金礦,其實毫不為過!在如今的數(shù)字化時代,數(shù)據(jù)大爆炸,對于企業(yè)來講,缺少的并不是數(shù)據(jù),而是如何有效的管理和利用數(shù)據(jù)的手段。事實上,企業(yè)對于數(shù)據(jù)利用的探索一直沒有停止,除了BI、還有數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)湖、大數(shù)據(jù)平臺、數(shù)據(jù)中臺等等。經(jīng)過了大量的實踐驗證,當(dāng)前很多企業(yè)都將期望放在了數(shù)據(jù)中臺上!關(guān)于數(shù)據(jù)中臺的概念,網(wǎng)上有很多種不同的說法。筆者在以往的文章中,也有相關(guān)數(shù)據(jù)中臺概念的定義。常見的一種定義是:數(shù)據(jù)中臺指數(shù)據(jù)采集交換、共享融合、組織處理、建模分析、管理治理和服務(wù)應(yīng)用于一體的綜合性數(shù)據(jù)能力平臺,在大數(shù)據(jù)生態(tài)中處于承上啟下的功能,提供面向數(shù)據(jù)應(yīng)用支撐的底座能力。其實這個定義還是太技術(shù)化,相比我更喜歡以下這個說法:數(shù)據(jù)中臺是一套“讓企業(yè)的數(shù)據(jù)可持續(xù)用起來”的機(jī)制,一種戰(zhàn)略選擇和組織形式,是依據(jù)企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu),通過有形的產(chǎn)品和實施方法論支撐,構(gòu)建一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的機(jī)制。數(shù)據(jù)中臺需要具備數(shù)據(jù)匯聚整合、數(shù)據(jù)提純加工、數(shù)據(jù)服務(wù)可視化、數(shù)據(jù)價值變現(xiàn) 4個核心能力,讓企業(yè)員工、客戶、伙伴能夠方便地應(yīng)用數(shù)據(jù)。數(shù)據(jù)中臺是在組織數(shù)字化轉(zhuǎn)型過程中,對各業(yè)務(wù)單元業(yè)務(wù)與數(shù)據(jù)的沉淀,構(gòu)建包括數(shù)據(jù)技術(shù)、數(shù)據(jù)治理、數(shù)據(jù)運(yùn)營等數(shù)據(jù)建設(shè)、管理、使用體系,實現(xiàn)數(shù)據(jù)賦能、數(shù)據(jù)驅(qū)動。2、數(shù)據(jù)中臺與 BI 的關(guān)系在企業(yè)的數(shù)據(jù)中臺架構(gòu)中,BI 屬于數(shù)據(jù)前臺的范疇,提供數(shù)據(jù)分析和可視化能力,是數(shù)據(jù)中臺的用戶對象之一。而數(shù)據(jù)中臺更多是一種統(tǒng)一的數(shù)據(jù)管理架構(gòu),它是一種技術(shù)和組織的解決方案,可以支持商業(yè)智能(BI)分析,并可以實現(xiàn)數(shù)據(jù)積累,數(shù)據(jù)清洗,數(shù)據(jù)集成,數(shù)據(jù)建模,數(shù)據(jù)可視化等。因此,我們看到業(yè)內(nèi)數(shù)據(jù)中臺解決方案中,常常將BI融合其中,搭配使用。數(shù)據(jù)中臺是從數(shù)據(jù)源獲取數(shù)據(jù),整合、清洗和統(tǒng)一管理數(shù)據(jù),然后通過接口服務(wù)將數(shù)據(jù)提供給各個系統(tǒng)使用。BI則是從數(shù)據(jù)中臺獲取數(shù)據(jù),使用報表、圖表等工具,分析和可視化數(shù)據(jù),為決策者提供支持。對于大型集團(tuán)公司而言,BI工具可以有多套(要么購買、要么自主開發(fā)),而數(shù)據(jù)中臺一般建議只建設(shè)一套。3、數(shù)據(jù)中臺與BI有什么不同點(diǎn)?數(shù)據(jù)中臺與BI 雖然都是數(shù)據(jù)平臺,也有很多類似的地方,但它們本質(zhì)上是兩類不同的數(shù)據(jù)平臺。兩者的主要區(qū)別在于:解決的問題不同:數(shù)據(jù)中臺主要用于收集、存儲、整合和管理不同數(shù)據(jù)源的數(shù)據(jù),以便更好地支持業(yè)務(wù)分析;而BI則是通過分析和可視化數(shù)據(jù),以找出潛在的問題和機(jī)會,從而幫助企業(yè)更好地執(zhí)行決策。技術(shù)的架構(gòu)不同:數(shù)據(jù)中臺主要采用分布式架構(gòu),可以支持大規(guī)模的數(shù)據(jù)存儲及計算;而BI主要采用集中式架構(gòu),可以支持多維度、高效的數(shù)據(jù)分析。提供的服務(wù)不同:數(shù)據(jù)中臺主要提供數(shù)據(jù)資源到數(shù)據(jù)資產(chǎn)和轉(zhuǎn)化,以及API化(或其他共享方式)的數(shù)據(jù)服務(wù);而BI主要提供數(shù)據(jù)報表、數(shù)據(jù)應(yīng)用可視化服務(wù)。處理的數(shù)據(jù)不同:數(shù)據(jù)中臺的數(shù)據(jù)主要是原始數(shù)據(jù),例如:原始的日志數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、IOT數(shù)據(jù)等;而BI的數(shù)據(jù)主要是加工過的數(shù)據(jù),例如:報表數(shù)據(jù)。面向用戶不同:數(shù)據(jù)中臺主要面向IT部門,IT部門負(fù)責(zé)搭建和維護(hù)數(shù)據(jù)技術(shù)平臺,沉淀數(shù)據(jù)資產(chǎn)、并提供數(shù)據(jù)服務(wù);而BI面向業(yè)務(wù)部門,負(fù)責(zé)利用平臺上的數(shù)據(jù)進(jìn)行分析和挖掘,從而獲取有價值的數(shù)據(jù)洞察、以作出更加明智的決策。4、數(shù)據(jù)中臺與BI有什么相同處?雖然說了數(shù)據(jù)中臺與BI這么多的不同點(diǎn),但是他們之間很多相同之處,例如:兩者都是數(shù)據(jù)應(yīng)用的重要工具,都可以幫助企業(yè)更有效地分析數(shù)據(jù),挖掘有價值的信息。兩者都可以將數(shù)據(jù)從多種來源組織起來,提供直觀的可視化效果,以支持?jǐn)?shù)據(jù)分析。兩者都可以幫助企業(yè)實現(xiàn)數(shù)據(jù)驅(qū)動,幫助企業(yè)發(fā)現(xiàn)潛在的商機(jī),改善企業(yè)決策制定的過程。另外,還有一個重要的相同點(diǎn),那就是從實施方法上都屬于業(yè)務(wù)驅(qū)動。相對于傳統(tǒng)的數(shù)據(jù)倉庫、大數(shù)據(jù)平臺的技術(shù)驅(qū)動,數(shù)據(jù)中臺和BI都是業(yè)務(wù)驅(qū)動的,離業(yè)務(wù)更近,業(yè)務(wù)驅(qū)動的第一出發(fā)點(diǎn)不是數(shù)據(jù),而是業(yè)務(wù),一開始不用看你系統(tǒng)里面有什么數(shù)據(jù),而是去解決你的業(yè)務(wù)問題需要什么樣的數(shù)據(jù)服務(wù),加速企業(yè)從數(shù)據(jù)到數(shù)據(jù)資產(chǎn),再到數(shù)據(jù)價值的過程。
— 04 —
數(shù)據(jù)中臺 + BI ,真正實現(xiàn)數(shù)據(jù)驅(qū)動!
數(shù)據(jù)中臺+BI,兩者各司其職確相互融合,并提供一站式數(shù)據(jù)應(yīng)用,是打通企業(yè)數(shù)據(jù)資產(chǎn)應(yīng)用的最后一公里的關(guān)鍵。數(shù)據(jù)中臺+BI,提供一站式數(shù)據(jù)工作臺,將加速推動企業(yè)的數(shù)據(jù)平民化進(jìn)程,讓“人人都能成為數(shù)據(jù)分析師,人人都會找數(shù)據(jù)、用數(shù)據(jù),用數(shù)據(jù)說話、用數(shù)據(jù)決策”,真正實現(xiàn)企業(yè)的“數(shù)據(jù)驅(qū)動”。沒有 數(shù)據(jù)中臺 的 BI,很難實現(xiàn)持續(xù)數(shù)據(jù)運(yùn)營,而沒有 BI 的數(shù)據(jù)中臺,數(shù)據(jù)價值將無法直觀體現(xiàn)。下面我們看下,如何融合數(shù)據(jù)中臺和BI能力,發(fā)揮數(shù)據(jù)的真正“威力”!1、自上而下,全面盤點(diǎn)企業(yè)數(shù)據(jù)資產(chǎn)自上而下梳理是一種以業(yè)務(wù)視角進(jìn)行數(shù)據(jù)梳理的方式,通過對企業(yè)的相關(guān)制度文件、職能體系、業(yè)務(wù)流程、業(yè)務(wù)單據(jù)等進(jìn)行全面分析,逐層分解,梳理數(shù)據(jù)資產(chǎn)的三級目錄、業(yè)務(wù)屬性和相關(guān)管理屬性。三級目錄,即數(shù)據(jù)資產(chǎn)的分類,是按照業(yè)務(wù)視角對企業(yè)數(shù)據(jù)資產(chǎn)的梳理和分解,例如:數(shù)據(jù)域-數(shù)據(jù)主題-數(shù)據(jù)子主題-數(shù)據(jù)對象,(注:三級目錄不限于三級,但一般建議控制在五級之內(nèi)為宜)。業(yè)務(wù)屬性,即用來描述數(shù)據(jù)資產(chǎn)的業(yè)務(wù)元數(shù)據(jù)。如上圖所示,常見業(yè)務(wù)屬性包括:所屬數(shù)據(jù)域、數(shù)據(jù)主題等分類屬性,數(shù)據(jù)對象、業(yè)務(wù)定義、業(yè)務(wù)規(guī)則、敏感等級等。管理屬性,即用來描述數(shù)據(jù)資產(chǎn)的管理、維護(hù)、使用相關(guān)元數(shù)據(jù)。如上圖所示,常見管理屬性包括:管理部門、管理人員、聯(lián)系方式、更新頻率、最后更新時間、數(shù)據(jù)共享條件等。注:業(yè)務(wù)視角下,數(shù)據(jù)資產(chǎn)的管理屬性可能無法全部梳理出來,這就需要在技術(shù)盤點(diǎn)環(huán)節(jié)對其進(jìn)行補(bǔ)充完善。關(guān)于數(shù)據(jù)資產(chǎn)的盤點(diǎn)方法,請參考《數(shù)據(jù)資產(chǎn)管理:數(shù)據(jù)資產(chǎn)怎么盤?》2、自下而上,深入分析企業(yè)業(yè)務(wù)痛點(diǎn)數(shù)據(jù)治理、數(shù)字化轉(zhuǎn)型首先是需要消除企業(yè)痛點(diǎn),這是見效最快的方式。但同時我也發(fā)現(xiàn),很多企業(yè)最大的痛點(diǎn)是不知道自己的痛點(diǎn)在哪里。對此,筆者給出以下思路供參考:(1)找到那些對業(yè)務(wù)影響很深的點(diǎn),如不解決業(yè)務(wù)就無法順暢執(zhí)行;(2)找到那些對業(yè)務(wù)影響很廣的點(diǎn),牽一發(fā)而動全身,做好一點(diǎn)帶動全局;(3)找到那些對業(yè)務(wù)有高價值的點(diǎn),能夠為客戶帶來更好產(chǎn)品或服務(wù)、更好的體驗,亦或是為企業(yè)帶來更多的收入和利潤;(4)找到那些相對成熟且容易實現(xiàn)的點(diǎn),先易后難,逐步推進(jìn),不要上來就選擇一個根本無法完成的目標(biāo)。3、全面匯聚、整合和沉淀數(shù)據(jù)資產(chǎn)將企業(yè)數(shù)據(jù)轉(zhuǎn)化為生產(chǎn)力,需要業(yè)務(wù)用戶快速定位、理解和充分利用數(shù)據(jù)。與傳統(tǒng)數(shù)據(jù)倉庫不同,數(shù)據(jù)中臺的目標(biāo)是將企業(yè)的數(shù)據(jù)資源經(jīng)過統(tǒng)一梳理、采集、加工、處理……,然后形成數(shù)據(jù)資產(chǎn),并自動注冊形成數(shù)據(jù)資產(chǎn)目錄。數(shù)據(jù)資產(chǎn)目錄解決了跨部門數(shù)據(jù)資產(chǎn)的共享問題,方便業(yè)務(wù)決策者找到、理解、信任,他們想要的數(shù)據(jù),以支持業(yè)務(wù)部門利用數(shù)據(jù)來優(yōu)化他們的業(yè)務(wù)。通常,IT人員不會從業(yè)務(wù)的角度理解數(shù)據(jù),他們只專注于數(shù)據(jù)相關(guān)的技術(shù)問題,而業(yè)務(wù)人員缺乏IT技能,也很難將數(shù)據(jù)轉(zhuǎn)換為業(yè)務(wù)的洞察力。數(shù)據(jù)中臺提供了有效的數(shù)據(jù)管理方法和工具,幫助企業(yè)管理數(shù)據(jù)資產(chǎn),并將其轉(zhuǎn)化為對企業(yè)有價值的信息和有意義的業(yè)務(wù)洞察力。數(shù)據(jù)中臺建設(shè)的意義,在很大程度上是實現(xiàn)了IT和業(yè)務(wù)的拉通,讓IT與業(yè)務(wù)形成合力,朝著同一個方向和目標(biāo)努力。4、按需“組裝”數(shù)據(jù)服務(wù),構(gòu)建數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)中臺 + BI 構(gòu)建企業(yè)的數(shù)據(jù)供應(yīng)鏈。堅持“以終為始”的原則,以業(yè)務(wù)需求為導(dǎo)向,通過數(shù)據(jù)中臺的數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)計算等能力,按需對數(shù)據(jù)進(jìn)行加工處理和組裝,形成可供調(diào)用的維度表、事實表、匯總表等數(shù)據(jù)模型。再利用BI工具連接這些模型,對數(shù)據(jù)進(jìn)行分析和可視化,從而實現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)的一站式應(yīng)用。數(shù)據(jù)中臺提供了數(shù)據(jù)萃取服務(wù)、數(shù)據(jù)共享服務(wù)、數(shù)據(jù)資產(chǎn)運(yùn)營服務(wù)等等支撐能力,是構(gòu)建企業(yè)數(shù)據(jù)供應(yīng)鏈的關(guān)鍵,讓企業(yè)的數(shù)據(jù)能夠以服務(wù)的形式快速供給相關(guān)業(yè)務(wù)。數(shù)據(jù)即服務(wù)——這是數(shù)據(jù)中臺的靈魂。5、敏捷BI,自助分析,驅(qū)動業(yè)務(wù)決策敏捷BI是從工具側(cè)和方法側(cè),對傳統(tǒng)BI的全新升級。關(guān)于敏捷BI,你可能聽過這些關(guān)鍵詞:更快速、更靈活、更簡單、更自動......,很多人談敏捷BI都側(cè)重其工具和技術(shù),當(dāng)然這是一個很重要的方面。而另一方面,敏捷BI與傳統(tǒng)BI的區(qū)別在于交付方法上。傳統(tǒng)BI更多的是由IT人員進(jìn)行數(shù)據(jù)報表開發(fā),業(yè)務(wù)人員只管“看”,十分被動。而敏捷BI更強(qiáng)調(diào)業(yè)務(wù)的自助式分析,即:業(yè)務(wù)人員自己進(jìn)行數(shù)據(jù)探索和分析,增強(qiáng)了業(yè)務(wù)人員對數(shù)據(jù)的洞察能力。其實,不論是傳統(tǒng)BI還敏捷BI,要能夠讓其用起來的一個重要前提是:數(shù)據(jù)的及時性、完整性和準(zhǔn)確性,而數(shù)據(jù)中臺為保障數(shù)據(jù)的及時、完整和準(zhǔn)確提供了能力支撐。數(shù)據(jù)中臺建設(shè)成敗的一個衡量標(biāo)準(zhǔn),就是是否為業(yè)務(wù)用戶提供了自助分析能力,以及業(yè)務(wù)自助分析的靈活度。
最后,給大家留個思考題:如果企業(yè)建設(shè)的數(shù)據(jù)中臺脫離了BI,在沒有數(shù)據(jù)集成共享需求的情況下,面對業(yè)務(wù)用戶,您將提供什么,如何讓數(shù)據(jù)用起來,以及如何驗證數(shù)據(jù)中臺的各種數(shù)據(jù)模型和數(shù)據(jù)服務(wù)的有效性?歡迎留言區(qū)討論。
該文章在 2023/5/31 9:25:16 編輯過