以次作品根源于數(shù)倉寶物庫 ，作家Saurabh

交易題目的范疇太廣、太深、太攙雜，一種東西沒轍處置一切題目，在大數(shù)據(jù)和領(lǐng)會范圍更加如許。

熱數(shù)據(jù)須要在外存中保存和處置，所以符合用緩存或外存數(shù)據(jù)庫（如Redis或SAP Hana）。

AWS供給了ElastiCache效勞，可天生托管的Redis或Memcached情況。

NoSQL數(shù)據(jù)庫是面向高速但小范圍記載（比方，用戶對話消息或物聯(lián)網(wǎng)數(shù)據(jù)）的理念采用。

NoSQL數(shù)據(jù)庫對于實(shí)質(zhì)處置也很有效，不妨保存數(shù)據(jù)目次。

1、構(gòu)造化數(shù)據(jù)保存構(gòu)造化數(shù)據(jù)保存仍舊生存了幾十年，是人們最熟習(xí)的數(shù)據(jù)保存本領(lǐng)。大普遍工作型數(shù)據(jù)庫（如Oracle、MySQL、SQL Server和PostgreSQL）都是行式數(shù)據(jù)庫，由于要處置來自軟硬件運(yùn)用步調(diào)的一再數(shù)據(jù)寫入。

企業(yè)常常將工作型數(shù)據(jù)庫同聲用來報表，在這種情景下，須要一再讀取數(shù)據(jù)，但數(shù)據(jù)寫入頻次要低得多。

跟著數(shù)據(jù)讀取的需要越來越強(qiáng)，有更多的革新加入結(jié)束構(gòu)化數(shù)據(jù)保存的查問范圍，比方列式文獻(xiàn)方法的革新，它無助于于普及數(shù)據(jù)讀取本能，滿意領(lǐng)會需要。

鑒于行的方法將數(shù)據(jù)以行的情勢保存在文獻(xiàn)中。鑒于行的寫入辦法是將數(shù)據(jù)寫入磁盤的最快辦法，但它不確定能最快地讀取，由于你必需跳過很多不關(guān)系的數(shù)據(jù)。

鑒于列的方法將一切的列值一道保存在文獻(xiàn)中。如許會帶來更好的收縮功效，由于溝通的數(shù)據(jù)典型此刻被歸為一組。常常，它還能供給更好的讀取本能，由于你不妨跳過不須要的列。

咱們來看構(gòu)造化數(shù)據(jù)保存的罕見采用。

比方，你須要從訂單表中查問某個月的出賣總額，但該表有50列。在鑒于行的框架結(jié)構(gòu)中，查問時會掃描所有表的50個列，但在列式框架結(jié)構(gòu)中，查問時只會掃描訂單出賣列，所以普及了數(shù)據(jù)查問本能。

咱們再來精細(xì)引見聯(lián)系型數(shù)據(jù)庫，中心引見工作數(shù)據(jù)和數(shù)據(jù)堆棧處置數(shù)據(jù)領(lǐng)會的需要。

（1）聯(lián)系型數(shù)據(jù)庫

RDBMS比擬符合在線工作處置（OLTP）運(yùn)用。時髦的聯(lián)系型數(shù)據(jù)庫有Oracle、MSSQL、MariaDB、PostgreSQL等。個中少許保守數(shù)據(jù)庫仍舊生存了幾十年。

很多運(yùn)用，囊括電子商務(wù)、錢莊交易和棧房預(yù)定，都是由聯(lián)系型數(shù)據(jù)庫扶助的。聯(lián)系型數(shù)據(jù)庫特殊長于處置表之間須要攙雜共同查問的工作數(shù)據(jù)。

從工作數(shù)據(jù)的需要來看，聯(lián)系型數(shù)據(jù)庫該當(dāng)維持亞原子性、普遍性、分隔性、長久性規(guī)則，簡直如次：

亞原子性：工作將從頭至尾實(shí)足實(shí)行，一旦展示缺點(diǎn)，所有工作將會回滾。

普遍性：一旦工作實(shí)行，一切的數(shù)據(jù)都要提交到數(shù)據(jù)庫中。

分隔性：訴求多個工作能在分隔的情景下同聲運(yùn)轉(zhuǎn)，互不干預(yù)。

長久性：在任何阻礙（如搜集或電源妨礙）的情景下，工作該當(dāng)不妨回復(fù)到結(jié)果已知的狀況。

常常情景下，聯(lián)系型數(shù)據(jù)庫的數(shù)據(jù)會被轉(zhuǎn)存到數(shù)據(jù)堆棧中，用來報表和會合。（2）數(shù)據(jù)堆棧

數(shù)據(jù)堆棧更符合在線領(lǐng)會處置（OLAP）運(yùn)用。數(shù)據(jù)堆棧供給了對洪量構(gòu)造化數(shù)據(jù)的趕快會合功效。

固然那些本領(lǐng)（如Amazon Redshift、Netezza和Teradata）旨在趕快實(shí)行攙雜的會合查問，但它們并沒有對準(zhǔn)洪量并發(fā)寫入舉行過優(yōu)化。以是，數(shù)據(jù)須要分批加載，使得堆棧沒轍在熱數(shù)據(jù)上供給及時洞察。

新穎數(shù)據(jù)堆棧運(yùn)用列式保存來提高查問本能，比方Amazon Redshift、Snowflake和Google Big Query。成績于列式保存，那些數(shù)據(jù)堆棧供給了特殊快的查問速率，普及了I/O功效。

除此除外，Amazon Redshift等數(shù)據(jù)堆棧體例還經(jīng)過在多個節(jié)點(diǎn)上并行查問以及大范圍并行處置（MPP）來普及查問本能。

數(shù)據(jù)堆棧是中心保存庫，不妨保存來自一個或多個數(shù)據(jù)庫的積聚數(shù)據(jù)。它們保存暫時和汗青數(shù)據(jù)，用來創(chuàng)造交易數(shù)據(jù)的領(lǐng)會匯報。

固然，數(shù)據(jù)堆棧會合保存來自多個體例的數(shù)據(jù)，但它們不許被視為數(shù)據(jù)湖。數(shù)據(jù)堆棧只能處置構(gòu)造化的聯(lián)系型數(shù)據(jù)，而數(shù)據(jù)湖則不妨同聲處置構(gòu)造化的聯(lián)系型數(shù)據(jù)和非構(gòu)造化的數(shù)據(jù)，如JSON、日記和CSV數(shù)據(jù)。

Amazon Redshift等數(shù)據(jù)堆棧處置計劃不妨處置PB級的數(shù)據(jù)，并供給解耦的計劃和保存功效，以儉樸本錢。

除去列式保存外，Redshift還運(yùn)用數(shù)據(jù)源代碼、數(shù)據(jù)散布和地區(qū)映照來普及查問本能。比擬保守的鑒于行的數(shù)據(jù)堆棧處置計劃囊括Netezza、Teradata和Greenplum。

2、NoSQL數(shù)據(jù)庫NoSQL數(shù)據(jù)庫（如Dynamo DB、Cassandra和Mongo DB）不妨處置在聯(lián)系型數(shù)據(jù)庫中常常遇到的舒卷和本能挑撥。望文生義，NoSQL表白非聯(lián)系型數(shù)據(jù)庫。NoSQL數(shù)據(jù)庫積聚的數(shù)據(jù)沒有精確構(gòu)造體制貫穿各別表中的數(shù)據(jù)（沒有貫穿、外鍵，也不完備范式）。

NoSQL應(yīng)用了多種數(shù)據(jù)模子，囊括列式、鍵值、探求、文書檔案和圖模子。NoSQL數(shù)據(jù)庫供給可舒卷的本能、具備高可用性和韌性。

NoSQL常常沒有莊重的數(shù)據(jù)庫形式，每條記載都不妨有大肆數(shù)目的列（屬性），這表示著某一條龍不妨有4列，而同一個表中的另一條龍不妨有10列。分區(qū)鍵用來檢索包括關(guān)系屬性的值或文書檔案。

NoSQL數(shù)據(jù)庫是莫大散布式的，不妨復(fù)制。NoSQL數(shù)據(jù)庫特殊耐用，高可用的同聲不會展示本能題目。

SQL數(shù)據(jù)庫仍舊生存了幾十年，大普遍人大概仍舊特殊熟習(xí)聯(lián)系型數(shù)據(jù)庫。咱們來看SQL數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫之間的少許宏大辨別（見表1）。

表1 SQL數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫的辨別

按照數(shù)據(jù)特性，市情上有百般類型的NoSQL數(shù)據(jù)保存來處置一定的題目。咱們來看NoSQL數(shù)據(jù)庫的典型。

3、NoSQL數(shù)據(jù)庫典型NoSQL數(shù)據(jù)庫的重要典型如次：

列式數(shù)據(jù)庫：Apache Cassandra和Apache HBase是時髦的列式數(shù)據(jù)庫。列式數(shù)據(jù)保存無助于于在查問數(shù)據(jù)時掃描某一列，而不是掃描整行。即使貨色表有10列100萬行，而你想查問倉庫儲存中某一貨色的數(shù)目，那么列式數(shù)據(jù)庫只會將查問運(yùn)用于貨色數(shù)目列，不須要掃描所有表。

文書檔案數(shù)據(jù)庫：最時髦的文書檔案數(shù)據(jù)庫有MongoDB、Couchbase、MarkLogic、Dynamo DB和Cassandra。不妨運(yùn)用文書檔案數(shù)據(jù)庫來保存JSON和XML方法的半構(gòu)造化數(shù)據(jù)。

圖數(shù)據(jù)庫：時髦的圖數(shù)據(jù)庫囊括Amazon Neptune、JanusGraph、TinkerPop、Neo4j、OrientDB、GraphDB和Spark上的GraphX。圖數(shù)據(jù)庫保存極點(diǎn)和極點(diǎn)之間的鏈接（稱為邊）。圖不妨創(chuàng)造在聯(lián)系型和非聯(lián)系型數(shù)據(jù)庫上。

外存式鍵值保存：最時髦的外存式鍵值保存是Redis和Memcached。它們將數(shù)據(jù)保存在外存中，用來數(shù)據(jù)讀取頻次高的場景。運(yùn)用步調(diào)的查問開始會轉(zhuǎn)到外存數(shù)據(jù)庫，即使數(shù)據(jù)在緩存中可用，則不會報復(fù)主數(shù)據(jù)庫。外存數(shù)據(jù)庫很符合保存用戶對話消息，那些數(shù)據(jù)會引導(dǎo)攙雜的查問和一再的乞求數(shù)據(jù)，如用戶材料。NoSQL有很多用例，但要創(chuàng)造數(shù)據(jù)探求效勞，須要對一切數(shù)據(jù)創(chuàng)造索引。

4、探求數(shù)據(jù)保存Elasticsearch是大數(shù)據(jù)場景（如點(diǎn)擊流和日記領(lǐng)會）最受歡送的探求引擎之一。探求引擎能很好地扶助對具備大肆數(shù)目的屬性（囊括字符串令牌）的溫數(shù)據(jù)舉行偶爾查問。Elasticsearch特殊時髦。普遍的二進(jìn)制或東西保存實(shí)用于非構(gòu)造化、不行索引和其余沒有?？茤|西能領(lǐng)會其方法的數(shù)據(jù)。

Amazon Elasticsearch Service處置Elasticsearch集群，并供給API考察。它還供給了Kibana動作可視化東西，對Elasticsearch集群中的保存的索引數(shù)據(jù)舉行探求。

AWS處置集群的含量、舒卷和補(bǔ)丁，省去了運(yùn)維開支。日記探求和領(lǐng)會是罕見的大數(shù)據(jù)運(yùn)用場景，Elasticsearch不妨扶助你領(lǐng)會來自網(wǎng)站、效勞器、物聯(lián)網(wǎng)傳感器的日記數(shù)據(jù)。

Elasticsearch被洪量的行業(yè)運(yùn)用運(yùn)用，如錢莊、玩耍、經(jīng)營銷售、運(yùn)用監(jiān)察和控制、告白本領(lǐng)、訛詐檢驗(yàn)和測定、引薦和物聯(lián)網(wǎng)等。

5、非構(gòu)造化數(shù)據(jù)保存當(dāng)你有非構(gòu)造化數(shù)據(jù)保存的需要時，Hadoop猶如是一個完備的采用，由于它是可擴(kuò)充、可舒卷的，并且特殊精巧。它不妨運(yùn)轉(zhuǎn)在耗費(fèi)級擺設(shè)上，具有宏大的東西生態(tài)，并且運(yùn)轉(zhuǎn)起來猶如很合算。

Hadoop沿用主節(jié)點(diǎn)和子節(jié)點(diǎn)形式，數(shù)據(jù)散布在多個子節(jié)點(diǎn)，由主節(jié)點(diǎn)融合功課，對數(shù)據(jù)舉行查問演算。Hadoop體例依靠于大范圍并行處置（MPP），這使得它不妨趕快地對百般典型的數(shù)據(jù)舉行查問，不管是構(gòu)造化數(shù)據(jù)還利害構(gòu)造化數(shù)據(jù)。

在創(chuàng)造Hadoop集群時，從效勞器上創(chuàng)造的每個子節(jié)點(diǎn)城市附帶一個稱為當(dāng)?shù)豀adoop散布式文獻(xiàn)體例（HDFS）的磁盤保存塊。

你不妨運(yùn)用罕見的處置框架（如Hive、Ping和Spark）對保存數(shù)據(jù)舉行查問。然而，當(dāng)?shù)卮疟P上的數(shù)據(jù)只在關(guān)系范例的人命期內(nèi)長久化。

即使運(yùn)用Hadoop的保存層（即HDFS）來保存數(shù)據(jù)，那么保存與計劃將嚙合在一道。減少保存空間表示著必需減少更多的呆板，這也會普及計劃本領(lǐng)。為了贏得最大的精巧性和最好本錢效率，須要將計劃和保存劃分，并將兩者獨(dú)力舒卷。

總的來說，東西保存更符合數(shù)據(jù)湖，以財經(jīng)高效的辦法保存百般數(shù)據(jù)。鑒于云計劃的數(shù)據(jù)湖在東西保存的扶助下，不妨精巧地將計劃和保存解耦。

6、數(shù)據(jù)湖數(shù)據(jù)湖是構(gòu)造化和非構(gòu)造化數(shù)據(jù)的會合保存庫。數(shù)據(jù)湖正在變成在會合保存中保存和領(lǐng)會洪量數(shù)據(jù)的一種時髦辦法。它按原樣保存數(shù)據(jù)，運(yùn)用開源文獻(xiàn)方法來實(shí)行徑直領(lǐng)會。

因?yàn)閿?shù)據(jù)不妨按暫時方法原樣保存，所以不須要將數(shù)據(jù)變換為預(yù)訂義的形式，進(jìn)而普及了數(shù)據(jù)接收的速率。如圖1所示，數(shù)據(jù)湖是企業(yè)中一切數(shù)據(jù)的簡單如實(shí)根源。

圖1 數(shù)據(jù)湖的東西保存

數(shù)據(jù)湖的長處如次：

從百般根源接收數(shù)據(jù)：數(shù)據(jù)湖不妨讓你在一個會合的場所保存和領(lǐng)會來自百般根源（如聯(lián)系型、非聯(lián)系型數(shù)據(jù)庫以及流）的數(shù)據(jù)，以爆發(fā)簡單的如實(shí)根源。它回答了少許題目，比方，干什么數(shù)據(jù)散布在多個場合？簡單如實(shí)根源在何處？

搜集并高效保存數(shù)據(jù)：數(shù)據(jù)湖不妨接收任何典型的數(shù)據(jù)，囊括半構(gòu)造化和非構(gòu)造化數(shù)據(jù)，不須要任何形式。這就回復(fù)了怎樣從百般根源、百般方法的數(shù)據(jù)中趕快接收數(shù)據(jù)，并高效地舉行大范圍保存的題目。

跟著爆發(fā)的數(shù)據(jù)量連接擴(kuò)充：數(shù)據(jù)湖承諾你將保存層和計劃層劃分，對每個組件辨別舒卷。這就回復(fù)了怎樣跟著爆發(fā)的數(shù)據(jù)量舉行舒卷的題目。

將領(lǐng)會本領(lǐng)運(yùn)用于各別根源的數(shù)據(jù)：經(jīng)過數(shù)據(jù)湖，你不妨在讀取時決定數(shù)據(jù)形式，并對從各別資源搜集的數(shù)據(jù)創(chuàng)造會合的數(shù)據(jù)目次。這使你不妨隨時、趕快地對數(shù)據(jù)舉行領(lǐng)會。這回復(fù)了能否能將多種領(lǐng)會和處置框架運(yùn)用于溝通的數(shù)據(jù)的題目。你須要為數(shù)據(jù)湖供給一個能無窮舒卷的數(shù)據(jù)保存處置計劃。將處置和保存解耦會帶來宏大的長處，囊括不妨運(yùn)用百般東西處置和領(lǐng)會溝通的數(shù)據(jù)。

固然這大概須要一個特殊的辦法將數(shù)據(jù)加載到對應(yīng)東西中，但運(yùn)用Amazon S3動作中心數(shù)據(jù)保存比保守保存計劃有更多的長處。

數(shù)據(jù)湖再有其余長處。它能讓你的框架結(jié)構(gòu)永然而時。假如12個月后，大概會有你想要運(yùn)用的新本領(lǐng)。由于數(shù)據(jù)仍舊生存于數(shù)據(jù)湖，你不妨以最小的開支將這種新本領(lǐng)插入處事過程中。

經(jīng)過在大數(shù)據(jù)處置清流線中建立模塊化體例，將AWS S3等通用東西保存動作骨干，當(dāng)一定模塊不復(fù)實(shí)用或有更好的東西時，不妨自在地替代。

專題推薦：

江門回收廢鋁

江門回收廢銅

江門回收廢鐵

江門回收廢紙

江門廢紙回收

江門廢塑料回收

江門廢銅回收

江門廢鋁回收

江門廢鐵回收

中山廢品回收

廣東廢品回收

江門廢品回收

江門起重機(jī)安裝

江門廢品站