很長一段時間,BI和數(shù)據(jù)倉庫幾乎都是如影隨形、難舍難分。企業(yè)如果想要實行“數(shù)據(jù)驅(qū)動決策-決策推動業(yè)務(wù)發(fā)展”的機制,就必須先有數(shù)據(jù)倉庫充當中央存儲庫,供BI查詢和調(diào)取,然后再在BI上進行數(shù)據(jù)的分析與可視化。
但數(shù)據(jù)分析和商業(yè)決策發(fā)展至今,企業(yè)想要實現(xiàn)數(shù)據(jù)驅(qū)動決策,是否還是無法繞過數(shù)據(jù)倉庫?在現(xiàn)代商業(yè)環(huán)境中重新定義BI和數(shù)據(jù)倉庫,我們又能不能找到合適的替代方案?
今天,我們就這個命題展開討論,希望能給大家提供一些思路。
數(shù)倉: BI背后的引擎(或管道)
數(shù)據(jù)倉庫: 從字面意義上即數(shù)據(jù)的倉庫,是為了把操作型數(shù)據(jù)集成到統(tǒng)一的環(huán)境中,以提供決策型數(shù)據(jù)訪問。數(shù)據(jù)倉庫關(guān)注的是解決數(shù)據(jù)一致性,可信性,集合性.......這些問題,把越來越復雜的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化成對于業(yè)務(wù)運營、業(yè)務(wù)分析來說簡單易用的數(shù)據(jù)形式;數(shù)據(jù)倉庫的終極目標是讓數(shù)據(jù)應(yīng)用人員(無論是CEO還是普通分析師)思考怎么使用數(shù)據(jù)倉庫里的這些數(shù)據(jù),創(chuàng)造更多的信息與價值;而不是發(fā)愁數(shù)據(jù)在哪里,數(shù)據(jù)對不對。
BI(商業(yè)智能): BI是分析數(shù)據(jù)并獲取洞察力、從而幫助企業(yè)做出決策的一系列方法、技術(shù)和軟件。相比數(shù)據(jù)倉庫,BI中還包含了數(shù)據(jù)挖掘,數(shù)據(jù)可視化,多維分析,標簽分類等方面。拿多維分析舉個例子,數(shù)據(jù)倉庫中只是提供了維度化的數(shù)據(jù),但是基于某些工具,比如Ebay的kylen或者IBM的Cognos等,可以支持用戶在一定范圍內(nèi)任意組合維度與指標,那這就上升到了決策支持的層面而不是“高級數(shù)據(jù)倉儲”層面了,也就是使用了數(shù)據(jù)倉庫的數(shù)據(jù),但不是數(shù)據(jù)倉庫的功能。
BI與數(shù)據(jù)倉庫的相關(guān)性(圖片來源于網(wǎng)絡(luò))
傳統(tǒng)BI項目的構(gòu)建路徑?jīng)Q定了其必須依賴數(shù)據(jù)倉庫才能進行數(shù)據(jù)分析。 比如MicroStrategy,SAP BW,微軟 Analysis Server, IBM的Cognos,Oracle的OBIEE,這些傳統(tǒng)BI工具不具備使數(shù)據(jù)集成標準化的能力,數(shù)據(jù)倉庫的存在就是幫助他們建立數(shù)據(jù)治理結(jié)構(gòu),解決數(shù)據(jù)冗余、不一致、錯誤、無法輕松訪問等問題。
另一方面,BI對數(shù)據(jù)倉庫的這種依賴其實存在著極大的缺陷。 一般來說,數(shù)據(jù)倉庫通常需要花費高經(jīng)濟成本、時間成本從規(guī)劃到落地,但創(chuàng)造的價值大多數(shù)情況比較有限,ROI較低。搭建成功后,數(shù)據(jù)倉庫也僅支持極少數(shù)特定類型的分析,如果企業(yè)業(yè)務(wù)出現(xiàn)調(diào)整或者需要處理新類型的數(shù)據(jù),屆時又將重新面臨重大的開發(fā)工作。
從現(xiàn)代商業(yè)決策視角,重新審視BI與數(shù)據(jù)倉庫的關(guān)系
在如今轉(zhuǎn)向服務(wù)導向架構(gòu)(SOA)(*由Gartner提出,以“服務(wù)”為基本元素來組建企業(yè)IT架構(gòu)的方式。SOA要解決的主要問題是:快速構(gòu)建與應(yīng)用集成,現(xiàn)已成為解決企業(yè)業(yè)務(wù)發(fā)展需求與企業(yè)IT支持能力之間矛盾的最佳方案。)的技術(shù)大背景中,耗費巨大心力進行大規(guī)模的數(shù)據(jù)整合和數(shù)據(jù)集成操作是否還有必要?構(gòu)建數(shù)倉的收益是否能大于你將付出的成本?
再加上企業(yè)數(shù)據(jù)體量不斷提升,業(yè)務(wù)發(fā)展越來越迅速,對快速印證分析決策也提出了更高要求,更多的企業(yè)希望能夠降低技術(shù)設(shè)施成本,做到近乎實時地訪問操作源數(shù)據(jù),在極短的時間內(nèi)響應(yīng)用戶請求。
數(shù)據(jù)倉庫和BI的體系結(jié)構(gòu)(圖片來源于網(wǎng)絡(luò))
于是我們看到了越來越多沒有數(shù)倉的BI項目。一方面,敏捷BI的興起,允許用戶快速接入各類數(shù)據(jù)源,無需借助數(shù)倉即可實現(xiàn)數(shù)據(jù)導入-處理-分析的流程。而另一方面,以觀遠數(shù)據(jù)為代表的新一代AI+BI智能數(shù)據(jù)分析平臺,則在快速接入、敏捷分析的基礎(chǔ)上,實現(xiàn)了更進一步的應(yīng)用:
觀遠數(shù)據(jù)智能分析平臺:
1. 自帶輕量的分布式數(shù)據(jù)存儲與數(shù)據(jù)流處理模塊,提供從數(shù)據(jù)抽取、數(shù)據(jù)建模、數(shù)據(jù)分析,到數(shù)據(jù)可視化、預警分發(fā)的一站式數(shù)據(jù)分析應(yīng)用能力;
2. 即便不抽取數(shù)據(jù),也可實現(xiàn)多數(shù)據(jù)源的聯(lián)邦動態(tài)分析(聯(lián)動、鉆取、動態(tài)參數(shù)等交互分析功能)。
在這個角度上來看,一定程度上可以在沒有數(shù)據(jù)倉庫的前提下實現(xiàn)智能數(shù)據(jù)分析,但是,這僅限于數(shù)據(jù)量有限的中小型企業(yè),不意味著我們推薦直接拿數(shù)據(jù)分析平臺上的數(shù)據(jù)存儲當做數(shù)據(jù)倉庫來用。
因為隨著企業(yè)用戶數(shù)據(jù)量、分析復雜度的不斷提升,數(shù)據(jù)分析平臺上輕量式數(shù)據(jù)存儲與數(shù)據(jù)流處理模塊是難以承受巨大的計算壓力的,從企業(yè)長遠發(fā)展的角度上考量,還是需要有計劃地建設(shè)數(shù)據(jù)倉庫或數(shù)據(jù)平臺。
企業(yè)構(gòu)建分析決策架構(gòu)的敏捷策略
企業(yè)分析決策架構(gòu)的未來前景,取決于業(yè)務(wù)驅(qū)動因素以及技術(shù)的發(fā)展方向。如今企業(yè)數(shù)據(jù)呈指數(shù)級增長,對實時分析的需求比以往任何時候都要強烈,鑒于此,如何兼顧快速落地與高可擴展性,有機結(jié)合數(shù)據(jù)倉庫來構(gòu)建企業(yè)分析決策架構(gòu),仍是擺在眾多企業(yè)面前的一個巨大難題。
對此,觀遠數(shù)據(jù)推薦的最佳實踐是:
1. 在數(shù)倉尚未搭建或分析思路尚未成型時,直接在BI平臺內(nèi)快速構(gòu)建分析應(yīng)用,快速反饋、快速迭代,實現(xiàn)quick win。
2. 在分析結(jié)果得到業(yè)務(wù)的印證后,再將數(shù)據(jù)沉淀和復雜分析邏輯逐步固化到數(shù)據(jù)倉庫或數(shù)據(jù)平臺里面實施,此時BI平臺僅擔負輕量的數(shù)據(jù)分析與可視化壓力。
我們認為,數(shù)據(jù)分析的本質(zhì)是為業(yè)務(wù)發(fā)展、商業(yè)決策而服務(wù),而不是創(chuàng)建一堆無用的可視化圖表。通過以上提到的這種敏捷開發(fā),快速印證,不斷沉淀的過程,將能夠更大程度上確保企業(yè)分析決策架構(gòu)的方向正確,獲得業(yè)務(wù)端的認同,驅(qū)動業(yè)務(wù)發(fā)展,從而產(chǎn)生真正的商業(yè)價值。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!
日前,北京佳格天地科技有限公司與農(nóng)業(yè)農(nóng)村部大數(shù)據(jù)發(fā)展中心簽訂聯(lián)合實驗室協(xié)議。雙方將充分利用遙感、AI等技術(shù),以及人才隊伍、技術(shù)產(chǎn)品等優(yōu)質(zhì)資源,開展農(nóng)業(yè)農(nóng)村領(lǐng)域相關(guān)基礎(chǔ)模型、作物農(nóng)情遙感監(jiān)測產(chǎn)品及農(nóng)業(yè)氣象服務(wù)等方面的合作研究。
日前,2022世界數(shù)字農(nóng)業(yè)大會舉行。大會以“種鑄強芯,數(shù)領(lǐng)未來”為主題,開設(shè)多場數(shù)字農(nóng)業(yè)云端專題論壇,北京佳格天地科技有限公司受邀出席”農(nóng)業(yè)農(nóng)村大數(shù)據(jù)應(yīng)用論壇“,同與會嘉賓分享了農(nóng)業(yè)大數(shù)據(jù)的創(chuàng)新應(yīng)用。
毫無疑問,隨著以Kubernetes為代表的云原生技術(shù)得到廣泛應(yīng)用和普及,云原生數(shù)據(jù)量和重要性不斷提高,使得企業(yè)對云原生數(shù)據(jù)庫服務(wù)的需求日漸增長。
近期,由中國工業(yè)設(shè)計協(xié)會、中國技術(shù)交易所雙重指導,UXPA中國主辦的2022年第六屆GXA好體驗獎評選結(jié)果揭曉,元年科技憑借元年數(shù)據(jù)智能管理平臺榮獲“最佳企業(yè)賦能獎”,該獎項旨在挖掘當代杰出用戶體驗作品,表彰利用創(chuàng)新思維、堅持以用戶體驗為中心的企業(yè),填補了國內(nèi)專業(yè)級別用戶體驗社會化獎項的空白。
8月19日,第二屆中國移動“梧桐杯”大數(shù)據(jù)應(yīng)用創(chuàng)新大賽暨大數(shù)據(jù)創(chuàng)客馬拉松大賽浙江賽區(qū)數(shù)智鄉(xiāng)村賽道復賽在杭州圓滿落幕。中國移動浙江公司副總經(jīng)理王頂在會上致辭,來自浙江省農(nóng)業(yè)農(nóng)村廳、文化和旅游廳、中國移動互聯(lián)網(wǎng)公司相關(guān)負責人出席了會議。
把脈中國數(shù)據(jù)智能化
2023年,幾乎可以被定義為中國互聯(lián)網(wǎng)公司的“大模型元年”。ChatGPT的全球爆紅,徹底點燃國內(nèi)的大模型賽道,曾經(jīng)的“創(chuàng)業(yè)英雄”、如今的商業(yè)領(lǐng)袖們親自下場,接連發(fā)布生成式人工智能產(chǎn)品與大模型布局。大模型火了,沉寂許久的互聯(lián)網(wǎng)行業(yè)又有了新的“戰(zhàn)事”。同時,大模型的快速發(fā)展也改變了云市場的現(xiàn)狀,企業(yè)對
近日,數(shù)字化市場研究咨詢機構(gòu)愛分析發(fā)布了《2022愛分析·數(shù)據(jù)智能廠商全景報告》,愛分析從技術(shù)研發(fā)能力、服務(wù)客戶數(shù)量、收入規(guī)模等維度對廠商進行了全面專業(yè)的評估
2022年11月18日,首個國家級大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新賽事——2022第一屆中國大數(shù)據(jù)大賽圓滿落幕。工業(yè)和信息化部信息技術(shù)發(fā)展司數(shù)字經(jīng)濟推進處處長張建倫,中國電子技術(shù)標準化研究院副院長孫文龍出席頒獎典禮并致辭
2022年11月17日,在廈門市工業(yè)和信息化局的指導下,以“數(shù)據(jù)確權(quán)”為主題的2022數(shù)據(jù)資產(chǎn)(廈門)論壇在廈門成功舉辦。本次論壇以“數(shù)據(jù)確權(quán)”為主題,由廈門市互聯(lián)網(wǎng)域名應(yīng)用服務(wù)產(chǎn)業(yè)協(xié)會和構(gòu)信網(wǎng)(公信.中國)聯(lián)合主辦
近日,國內(nèi)知名數(shù)字化市場研究咨詢機構(gòu)愛分析正式發(fā)布《2022愛分析·信創(chuàng)廠商全景報告》(以下簡稱“報告”)。報告綜合考慮企業(yè)關(guān)注度、行業(yè)落地進展等因素,遴選出在信創(chuàng)市場中具備成熟解決方案和落地能力的廠商。
10月31日下午,由數(shù)博會執(zhí)委會主辦、數(shù)據(jù)觀(北京)傳媒科技有限公司承辦、貴陽大數(shù)據(jù)交易所協(xié)辦的第四期數(shù)博思享會“實踐先行觀公共數(shù)據(jù)價值與應(yīng)用”活動成功舉辦。
近日,由中國國際數(shù)字經(jīng)濟博覽會組委會主辦,中國電子技術(shù)標準化研究院、河北省工業(yè)和信息化廳承辦的“第一屆中國大數(shù)據(jù)大賽”(簡稱大數(shù)據(jù)大賽)正式啟動。
廣州光點信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺產(chǎn)品GI大數(shù)據(jù)中臺V2.0產(chǎn)品是國內(nèi)率先推出符合新創(chuàng)標準的中臺產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務(wù)、管理為一體的旗艦平臺。
廣州光點信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺產(chǎn)品GI大數(shù)據(jù)中臺V2.0產(chǎn)品是國內(nèi)率先推出符合新創(chuàng)標準的中臺產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務(wù)、管理為一體的旗艦平臺