【行業(yè)資訊】2022年的五個大數(shù)據(jù)發(fā)展趨勢
發(fā)布時間:2022-02-14 文章來源:鴻宇科技 瀏覽次數(shù):1302
2021年,我們看到圍繞現(xiàn)代數(shù)據(jù)棧的興起出現(xiàn)了相當(dāng)大的加速效應(yīng)。我們現(xiàn)在有一個海嘯般的通訊、影響者、投資者、專門的網(wǎng)站、會議和活動來宣揚(yáng)它。圍繞現(xiàn)代數(shù)據(jù)棧的概念(盡管仍處于早期階段)與云中數(shù)據(jù)工具的爆炸性增長緊密相連。云計算帶來了一種新的基礎(chǔ)設(shè)施模式,它將幫助我們快速地、程序化地、按需地建立這些數(shù)據(jù)棧,使用像Kubernetes這樣的云原生技術(shù)、像Terraform這樣的基礎(chǔ)設(shè)施即代碼以及DevOps的云計算最佳實踐。因此,基礎(chǔ)設(shè)施成為構(gòu)建和實施現(xiàn)代數(shù)據(jù)棧的一個關(guān)鍵因素。
當(dāng)我們已經(jīng)進(jìn)入2022年,我們可以清楚地看到軟件工程的最佳實踐已經(jīng)開始注入數(shù)據(jù):數(shù)據(jù)質(zhì)量監(jiān)控和可觀察性、不同ETL層的專業(yè)化、數(shù)據(jù)探索和數(shù)據(jù)安全都在2021年蓬勃發(fā)展,并將繼續(xù)下去,因為從早期創(chuàng)業(yè)公司到價值數(shù)十億美元的財富500強(qiáng)企業(yè)的數(shù)據(jù)驅(qū)動型公司繼續(xù)將數(shù)據(jù)存儲和處理到數(shù)據(jù)庫、云數(shù)據(jù)倉庫、數(shù)據(jù)湖和數(shù)據(jù)湖倉。
下面你會發(fā)現(xiàn)我們預(yù)測的5個數(shù)據(jù)趨勢將在2022年確立或加速。
如果說2020年和2021年是關(guān)于數(shù)據(jù)工程師的崛起(根據(jù)Dice的科技工作報告,這是最重要的)。fastest-growing job in tech in 2020),那么在2022年,分析工程師將明確進(jìn)入人們的視線。
云數(shù)據(jù)平臺的崛起已經(jīng)改變了一切。傳統(tǒng)的技術(shù)結(jié)構(gòu),如立方體和單體數(shù)據(jù)倉庫,正在讓位于更靈活和可擴(kuò)展的數(shù)據(jù)模型。此外,轉(zhuǎn)換可以在云平臺內(nèi)對所有數(shù)據(jù)進(jìn)行。ETL在很大程度上已經(jīng)被ELT所取代。控制這種轉(zhuǎn)換邏輯的是誰?分析工程師。
這個角色的興起可以直接歸功于云數(shù)據(jù)平臺和數(shù)據(jù)構(gòu)建工具(dbt)的興起。Dbt labs是dbt背后的公司,實際上創(chuàng)造了這個角色。dbt社區(qū)在2018年開始有五個用戶。截至2021年11月,有7300名用戶。
分析工程師是自然演化的一個例子,因為數(shù)據(jù)工程很可能最終成為多個T型工程角色,由開發(fā)自助式數(shù)據(jù)平臺而不是開發(fā)管道或報告的工程師驅(qū)動。
分析工程師首先出現(xiàn)在云端原生者和初創(chuàng)公司,如Spotify和Deliveroo,但最近開始在企業(yè)公司如捷藍(lán)航空中獲得地位。你可以閱讀 here an articleDeliveroo工程團(tuán)隊關(guān)于分析工程在其組織中的出現(xiàn)和演變的文章。
我們看到越來越多的現(xiàn)代數(shù)據(jù)團(tuán)隊將分析工程師加入他們的團(tuán)隊,因為他們正變得越來越以數(shù)據(jù)為導(dǎo)向,并建立自我服務(wù)的數(shù)據(jù)管道。根據(jù)LinkedIn招聘信息的數(shù)據(jù),典型的 must-have skills for an analytics engineer包括SQL、dbt、Python和與現(xiàn)代數(shù)據(jù)棧相關(guān)的工具(如Snowflake、Fivetran、Prefect、Astronomer等)。
截至2021年12月1日的LinkedIn職位發(fā)布數(shù)據(jù)
根據(jù)LinkedIn的數(shù)據(jù),對數(shù)據(jù)科學(xué)家的需求大約是分析工程師的2.6到2.7,而且這個差距還在繼續(xù)縮小。
在2022年,我們預(yù)計這一差距將進(jìn)一步縮小,因為對分析工程師的需求繼續(xù)增長,接近于對數(shù)據(jù)科學(xué)家(曾被稱為 the sexiest job in tech).
數(shù)據(jù)界很少有人錯過了2021年底Databricks和Snowflake之間非常公開的對決。這一切開始于Databricks聲稱其數(shù)據(jù)湖庫技術(shù)的TPC-DS基準(zhǔn)記錄,并說一項研究表明它比Snowflake快2.5倍。Snowflake表示,Databricks缺乏誠信,并表示該研究有缺陷,并有一個 "不確定 "的說法。
我們不必回到那么多年前,當(dāng)時Snowflake和Databricks是新興的云計算軟件創(chuàng)業(yè)公司,他們是如此友好,他們的銷售團(tuán)隊經(jīng)常互相傳遞客戶線索。現(xiàn)在這一切都改變了,因為Snowflake指控Databricks采用不正當(dāng)?shù)臓I銷手段來贏得關(guān)注。這關(guān)系到未來幾百億美元的潛在收入。Databricks的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Ali Ghodsi在一份聲明中指出 ,Snowflake和Databricks如何在許多客戶的數(shù)據(jù)堆中共存。
"我們所看到的是,越來越多的人現(xiàn)在覺得他們可以真正使用他們在數(shù)據(jù)湖中的數(shù)據(jù),與我們一起進(jìn)行數(shù)據(jù)倉庫工作負(fù)載。而這些可能是工作負(fù)載,否則會去Snowflake的。"
數(shù)據(jù)倉庫供應(yīng)商正在逐步從現(xiàn)有的模式轉(zhuǎn)向數(shù)據(jù)倉庫和數(shù)據(jù)湖模式的融合。同樣地,那些在數(shù)據(jù)湖邊開始他們的旅程的供應(yīng)商現(xiàn)在也在向數(shù)據(jù)倉庫領(lǐng)域擴(kuò)展。我們可以看到兩方面的融合都在發(fā)生。
因此,正如Databricks使其數(shù)據(jù)湖看起來更像數(shù)據(jù)倉庫一樣,Snowflake一直在使其數(shù)據(jù)倉庫看起來更像數(shù)據(jù)湖。簡而言之,數(shù)據(jù)湖倉是一個平臺,旨在結(jié)合數(shù)據(jù)倉庫和數(shù)據(jù)湖的優(yōu)點。根據(jù)營銷術(shù)語,數(shù)據(jù)湖室結(jié)合了數(shù)據(jù)倉庫和數(shù)據(jù)湖的優(yōu)點,為數(shù)據(jù)科學(xué)和分析用例提供融合的工作負(fù)載。Databricks在其營銷資料中利用了這個術(shù)語,而Snowflake則更喜歡數(shù)據(jù)云這個術(shù)語。
但是,數(shù)據(jù)湖倉是否意味著數(shù)據(jù)倉庫的終結(jié)?數(shù)據(jù)湖倉是一個新的、開放的數(shù)據(jù)管理架構(gòu),它將數(shù)據(jù)湖的靈活性、成本效益和規(guī)模與數(shù)據(jù)倉庫的數(shù)據(jù)管理和ACID交易結(jié)合起來,使所有數(shù)據(jù)的商業(yè)智能和ML成為可能。
那是在2012年,專家們在 Strata-Hadoop World聲稱數(shù)據(jù)湖將殺死數(shù)據(jù)倉庫(創(chuàng)業(yè)公司當(dāng)時拒絕了SQL并使用了Hadoop--SQL在當(dāng)時有點遜色,其原因在今天看來是荒謬的)。這種死亡從未發(fā)生過。
在2022年,較新的概念與云計算和融合工作負(fù)載的技術(shù)創(chuàng)新相搭配,是否會廢止數(shù)據(jù)倉庫?
時間會證明一切,但這個領(lǐng)域正在升溫,我們預(yù)計2022年將有更多的公開對決。該領(lǐng)域的其他初創(chuàng)企業(yè),如Firebolt、Dremio和Clickhouse最近都進(jìn)行了大量融資,將估值推至10億美元以上。
數(shù)據(jù)存儲和倉庫的演變
正如阿里-高德西所言,這不會是一個贏家通吃的市場。
"我認(rèn)為Snowflake將非常成功,我認(rèn)為Databricks將非常成功......你還會看到其他的頂級公司出現(xiàn),我肯定,在未來三到四年內(nèi)。這只是一個巨大的市場,很多人專注于追求它是有道理的。"
根據(jù) Bill Inmon他一直被認(rèn)為是數(shù)據(jù)倉庫之父,數(shù)據(jù)湖庫提供了一個類似于數(shù)據(jù)倉庫市場早期的機(jī)會。數(shù)據(jù)湖庫可以 "將數(shù)據(jù)湖的數(shù)據(jù)科學(xué)重點與數(shù)據(jù)倉庫的分析能力相結(jié)合。"
數(shù)據(jù)倉庫VS數(shù)據(jù)湖VS數(shù)據(jù)湖館 by Striim
數(shù)據(jù)湖倉與數(shù)據(jù)倉庫(與數(shù)據(jù)湖)仍然是一個正在進(jìn)行的辯論。數(shù)據(jù)架構(gòu)的選擇最終自然應(yīng)取決于團(tuán)隊所處理的數(shù)據(jù)類型、數(shù)據(jù)來源以及利益相關(guān)者將如何使用這些數(shù)據(jù)。
隨著2022年數(shù)據(jù)倉庫與數(shù)據(jù)湖倉的爭論加劇,重要的是要把炒作和營銷術(shù)語與現(xiàn)實分開。
正如Matt Turck在他的 MAD Landscape 2021 analysis,感覺實時性一直是一個技術(shù)范式,一直是剛要爆發(fā)的。當(dāng)我們進(jìn)入2022年時,我們聽到的權(quán)衡似乎還是在成本和復(fù)雜性方面。如果一個公司正在建立一個云數(shù)據(jù)倉庫,并且需要立即產(chǎn)生4-6周的影響,那么總體概念似乎仍然是,這是一個實時流管線與批處理管線相比。或者說,如果公司處于數(shù)據(jù)旅程的開始階段,那就是純粹的矯枉過正。
在Validio,我們預(yù)計隨著實時領(lǐng)域技術(shù)的不斷成熟和云主機(jī)的不斷發(fā)展,這種觀念將在未來幾年內(nèi)發(fā)生改變。許多使用案例,如欺詐檢測和動態(tài)定價,如果不進(jìn)行實時處理,就很難獲得價值。
隨著云服務(wù)提供商不斷改進(jìn)其流媒體工具,以數(shù)據(jù)為主導(dǎo)的組織正朝著建立大規(guī)模流媒體平臺的方向發(fā)展。這也是Ali Ghodsi所暗示的一個概念。
"如果你沒有一個實時的流處理系統(tǒng),你必須處理這樣的事情,好吧,那么數(shù)據(jù)每天都會到達(dá)。我要把它放在這里。我要把它加到那邊去。那么,我如何進(jìn)行核對?如果有些數(shù)據(jù)晚了怎么辦?我需要連接兩個表,但那個表不在這里。所以,也許我會等一下,然后再重新運(yùn)行一次。" - Ali Ghodsi on a16z
在過去的10年里,Apache Kafka一直是一個堅實的流引擎。進(jìn)入2022年,我們看到公司越來越多地轉(zhuǎn)向云托管的引擎,如亞馬遜的Kinesis和谷歌的Pub/Sub。
僵尸儀表盤是一個非常具體的例子,說明為什么這種流/實時運(yùn)動正在逐漸發(fā)生。在現(xiàn)代數(shù)據(jù)驅(qū)動的公司中,它們似乎成了一個非常真實的東西,Ananath Packkildurai(《數(shù)據(jù)工程周刊》的創(chuàng)始人)在以下文章中討論了這個問題 this Twitter thread.
對于許多公司來說,運(yùn)營分析是開始他們走向?qū)崟r/近實時分析的一個良好起點。正如Kleiner Perkins的合伙人Bucky Moore在他最近的文章中討論的那樣 blog post:
"云數(shù)據(jù)倉庫的設(shè)計是為了支持商業(yè)智能用例,這相當(dāng)于掃描整個表并匯總結(jié)果的大型查詢。這是對歷史數(shù)據(jù)分析的理想選擇,但對于 "現(xiàn)在發(fā)生了什么?"這類查詢正變得越來越流行,以推動實時決策。這就是運(yùn)營分析指的是什么。這方面的例子包括應(yīng)用內(nèi)的個性化、流失預(yù)測、庫存預(yù)測和欺詐檢測。相對于商業(yè)智能,運(yùn)營分析查詢將許多不同的數(shù)據(jù)源連接在一起,需要實時數(shù)據(jù)攝取和查詢性能,并且必須能夠同時處理許多查詢。"
由于 noted by McKinsey back in 2020,實時數(shù)據(jù)信息傳遞和流媒體管道的成本已經(jīng)大幅下降,為主流使用鋪平了道路。麥肯錫在一篇文章中進(jìn)一步預(yù)測 recent article到2025年,數(shù)據(jù)的生成、處理、分析和終端用戶的可視化將被新的和更普遍的技術(shù)大大改變,例如用于實時分析的Kappa或lambda架構(gòu),導(dǎo)致更快和更強(qiáng)大的洞察力。他們認(rèn)為,隨著云計算成本的不斷下降和更多強(qiáng)大的 "內(nèi)存 "數(shù)據(jù)工具的上線(如Redis、Memcached),即使是最復(fù)雜的高級分析也能合理地提供給所有組織。
不能客觀地說,在我們進(jìn)入2022年后,流數(shù)據(jù)是否比批處理數(shù)據(jù)變得更加關(guān)鍵--因為這在不同的公司和用例之間存在巨大的差異。例如,Chris Riccomini設(shè)計了一個數(shù)據(jù)管道進(jìn)展的層次結(jié)構(gòu)。他認(rèn)為,數(shù)據(jù)驅(qū)動的組織在他們的管道成熟度中會經(jīng)歷這樣的演變序列。
數(shù)據(jù)管道成熟度的六個階段 Chris Riccomini
我們不做任何預(yù)測,上述管道的成熟度進(jìn)展是否會變得更加普遍--有人認(rèn)為實時流管道幾乎都是矯枉過正的。
然而,我們看到,越來越多的公司正在投資實時基礎(chǔ)設(shè)施,因為他們正在從數(shù)據(jù)驅(qū)動(根據(jù)歷史數(shù)據(jù)做出決策)變成數(shù)據(jù)主導(dǎo)(根據(jù)實時和歷史數(shù)據(jù)做出決策)。這一趨勢的良好指標(biāo)是Confluent的爆炸性IPO和新產(chǎn)品,如Clickhouse、Materialize和Apache Hudi,它們在數(shù)據(jù)湖上提供實時功能。
數(shù)據(jù)的及時性,例如從這種基于批量的周期性架構(gòu)到更實時的架構(gòu),將成為一個越來越重要的競爭要素,因為每一個現(xiàn)代公司都在成為一個數(shù)據(jù)公司。我們預(yù)計這將在2022年進(jìn)一步加速。
在數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域,PLG(產(chǎn)品主導(dǎo)型增長)趨勢已經(jīng)持續(xù)了幾年,因為基于使用的定價、開源和軟件的可負(fù)擔(dān)性已經(jīng)將購買決策推向了終端用戶。然而,與傳統(tǒng)的銷售主導(dǎo)的市場模式相比,從商業(yè)模式和產(chǎn)品的角度來看,產(chǎn)品主導(dǎo)的增長和基于使用的定價在軟件方面的實施和執(zhí)行可能很復(fù)雜。通過AWS、GCP和Azure的云市場平臺正在成為企業(yè)向未來數(shù)字銷售發(fā)展的最佳第一步。
隨著開發(fā)者工具公司--包括現(xiàn)代數(shù)據(jù)棧中的初創(chuàng)公司--部署不同級別的PLG動議(產(chǎn)品的免費(fèi)/免費(fèi)/免費(fèi)試用版)或多或少成為一種規(guī)范,我們也在經(jīng)歷云市場的崛起,成為現(xiàn)代數(shù)據(jù)團(tuán)隊采用新技術(shù)渠道的首選。這主要是由于它們所提供的類似于消費(fèi)者的無摩擦購買體驗(想想蘋果應(yīng)用商店或谷歌游戲商店),而且數(shù)據(jù)團(tuán)隊可以利用他們已經(jīng)承諾的云供應(yīng)商的支出,通過云市場采用新技術(shù)。
對于全球領(lǐng)先的云計算公司來說,云市場現(xiàn)在是進(jìn)入市場的必要條件,而不是選擇。這些數(shù)字--包括已實現(xiàn)的和預(yù)測的--說明了原因。
超過45%的 Forbes The Cloud 100公司積極使用云市場作為其軟件的分銷渠道。
流經(jīng)三大云計算供應(yīng)商的企業(yè)承諾支出 exceeds $250 billion per year- 而這個數(shù)字正在快速攀升。
僅在2021年,獨立軟件供應(yīng)商通過云市場平臺 產(chǎn)生了超過30億美元的收入,根據(jù) Bessemer predictions. 貝瑟默公司預(yù)計,在未來幾年,這一數(shù)字將以10的倍數(shù)增長。
Forrester had projected到2023年,全球13萬億美元的B2B支出中有17%將通過電子商務(wù)和市場平臺流動 - 但這個數(shù)字可能在2021年就已經(jīng)達(dá)到了。
A 2020 Tackle survey發(fā)現(xiàn),70%的軟件供應(yīng)商表示,由于COVID-19的出現(xiàn),他們已經(jīng)增加了對市場平臺的關(guān)注和投資,將其作為進(jìn)入市場的渠道。
云市場的爆炸性增長主要源于它們?yōu)楝F(xiàn)代數(shù)據(jù)團(tuán)隊和數(shù)據(jù)基礎(chǔ)設(shè)施技術(shù)供應(yīng)商提供的相互優(yōu)勢。
云市場的雙贏
最近發(fā)表的一項研究 by Gartner預(yù)測,到2025年,近80%的銷售互動將通過數(shù)字渠道進(jìn)行。通過GCP、AWS或Azure云市場分發(fā)技術(shù)正成為現(xiàn)代數(shù)據(jù)團(tuán)隊的自然入口。現(xiàn)代數(shù)據(jù)棧公司,如 Astronomer and Fivetran已經(jīng)通過成為云市場的早期采用者而獲得了成功。其他早期采用云市場的公司,如CrowdStrike,已經(jīng)看到銷售周期時間減少了近50%。
購買行為已經(jīng)徹底改變,現(xiàn)代數(shù)據(jù)團(tuán)隊在他們的商業(yè)生活中期待著消費(fèi)者級別的體驗。他們希望以一種非常低調(diào)、技術(shù)領(lǐng)先的方式來發(fā)現(xiàn)、試用、甚至購買新的數(shù)據(jù)基礎(chǔ)設(shè)施技術(shù)。云市場正在成為這些團(tuán)隊探索新技術(shù)的接入點,就像蘋果應(yīng)用商店和谷歌游戲商店成為我們所有人探索新的日常服務(wù)和娛樂的接入點。
提供現(xiàn)代數(shù)據(jù)基礎(chǔ)設(shè)施工具的初創(chuàng)企業(yè)可以從我們的消費(fèi)者生活中學(xué)習(xí)到明顯的模式和經(jīng)驗,以消除摩擦,更有效地擴(kuò)大銷售,并幫助數(shù)據(jù)團(tuán)隊更快地獲得價值。
我們預(yù)計,在2022年,云市場將成為現(xiàn)代數(shù)據(jù)團(tuán)隊采用現(xiàn)代數(shù)據(jù)棧技術(shù)的首選方式。由于云和新基礎(chǔ)設(shè)施的爆炸性增長,圍繞現(xiàn)代數(shù)據(jù)棧的概念已經(jīng)出現(xiàn)了很多,因此,云市場將成為自然的切入點,這讓人感覺很合理。
看到現(xiàn)代數(shù)據(jù)棧背景下的數(shù)據(jù)質(zhì)量空間從2020年的小眾類別到過去18個月內(nèi)完全爆發(fā),2021年共有2億美元的資金流入該空間,這是非常不可思議的。甚至G2在他們最近的"What Is Happening in the Data Ecosystem in 2022"的文章中指出,2022年將是數(shù)據(jù)質(zhì)量的天下,他們在2021年看到數(shù)據(jù)質(zhì)量類別的流量急劇增加,這是一個不尋常的趨勢。
在現(xiàn)代云數(shù)據(jù)基礎(chǔ)設(shè)施的背景下,數(shù)據(jù)質(zhì)量類別的崛起是非常有意義的。數(shù)據(jù)質(zhì)量不僅是任何現(xiàn)代數(shù)據(jù)驅(qū)動型公司的基礎(chǔ)(無論它是普通的報告、商業(yè)智能、運(yùn)營分析還是高級機(jī)器學(xué)習(xí)),根據(jù) 2022 State of Data Engineering Survey數(shù)據(jù)質(zhì)量和驗證是調(diào)查對象(主要是數(shù)據(jù)工程師)提到的第一大挑戰(zhàn)。27%的調(diào)查對象不確定他們的組織使用什么(如果有的話)數(shù)據(jù)質(zhì)量解決方案。對于DataOps成熟度低的組織,這一數(shù)字躍升至39%。
然而,數(shù)據(jù)質(zhì)量技術(shù)的爆炸性增長也帶來了一些負(fù)面的影響。隨著現(xiàn)代數(shù)據(jù)質(zhì)量工具的快速爆炸性增長,我們也可以看到該領(lǐng)域的術(shù)語有很多不一致和重疊的用法。正如作者所指出的 Bessemer在數(shù)據(jù)質(zhì)量領(lǐng)域的參與者已經(jīng)創(chuàng)造了一些借用應(yīng)用性能監(jiān)控的術(shù)語,如 "數(shù)據(jù)停機(jī)"(對 "應(yīng)用停機(jī) "的戲稱)和 "數(shù)據(jù)可靠性工程"(對 "站點可靠性工程 "的戲稱)。
現(xiàn)在有無數(shù)種方法來描述重要但有點龐雜的過程,可以被定義為數(shù)據(jù)質(zhì)量驗證和監(jiān)測。我們看到諸如數(shù)據(jù)可觀察性、數(shù)據(jù)可靠性、數(shù)據(jù)可靠性工程、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)的Datadog、實時數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)停機(jī)、未知數(shù)據(jù)故障、無聲數(shù)據(jù)故障等術(shù)語被交替使用且不一致。
在目前的狀態(tài)下,現(xiàn)代數(shù)據(jù)棧中的大多數(shù)數(shù)據(jù)質(zhì)量工具都集中在監(jiān)控管道元數(shù)據(jù)或?qū)}庫中的靜態(tài)數(shù)據(jù)進(jìn)行SQL查詢--有些工具與不同層次的數(shù)據(jù)脈絡(luò)或根本原因分析相聯(lián)系。
一個現(xiàn)在被定義為數(shù)據(jù)可觀察性工具的軟件可能只關(guān)注數(shù)據(jù)線,或者只關(guān)注監(jiān)測管道元數(shù)據(jù)。一個提供實時數(shù)據(jù)質(zhì)量警報但不支持監(jiān)測實時流管道的工具,現(xiàn)在可能被定義為一個實時數(shù)據(jù)質(zhì)量監(jiān)測工具。一個只對倉庫中的數(shù)據(jù)進(jìn)行SQL查詢的工具可能被定義為端到端的數(shù)據(jù)可靠性工具,而一個監(jiān)控管道元數(shù)據(jù)的工具可能被定義為數(shù)據(jù)質(zhì)量監(jiān)控工具(反之亦然)。這個名單還在繼續(xù)。現(xiàn)在有很多不一致的地方,導(dǎo)致市場和終端用戶的混亂。
2020年MAD格局中的數(shù)據(jù)質(zhì)量類別與2021年的格局相比,由 Matt Turck
術(shù)語的不一致性是超出數(shù)據(jù)質(zhì)量范疇,擴(kuò)展到整個現(xiàn)代數(shù)據(jù)棧的東西。
一個行業(yè)的早期最有力的指標(biāo)之一是新術(shù)語的擴(kuò)散,而這些術(shù)語的使用是不一致的。作為一個具體的例子,當(dāng)有人說電子商務(wù)平臺或CMS平臺時,我們大多數(shù)人都會想到例如Shopify或WordPress,并對該工具在業(yè)務(wù)中的功能有一個清晰的認(rèn)識。但是,當(dāng)你聽到 "運(yùn)營分析"、"數(shù)據(jù)湖 "或 "數(shù)據(jù)可觀察性 "這樣的術(shù)語時,一個在數(shù)據(jù)世界工作的人可能會發(fā)現(xiàn)很難說清楚它們的確切含義和/或包含的內(nèi)容。這往往與以下事實直接相關(guān),即許多術(shù)語是由一些公司創(chuàng)造的,它們利用特定的技術(shù)開辟了新的領(lǐng)域,并進(jìn)行了分類創(chuàng)造。有趣的是,即使是最熱門的數(shù)據(jù)術(shù)語,例如 "現(xiàn)代數(shù)據(jù)棧",在數(shù)據(jù)世界中也缺乏一個一致的定義--此外,諸如 "數(shù)據(jù)網(wǎng) "和 "數(shù)據(jù)結(jié)構(gòu) "等術(shù)語也經(jīng)常被用來描述新的數(shù)據(jù)架構(gòu)。
隨著實際用戶將該技術(shù)分層到他們的堆棧并建立用例,該行業(yè)將最終幫助形成特定工具和架構(gòu)模式的定義。
在2022年,隨著現(xiàn)代數(shù)據(jù)棧和數(shù)據(jù)質(zhì)量類別的成熟,我們也希望看到術(shù)語使用方式的協(xié)調(diào)和一致。
來源:工信頭條