開(kāi)源對(duì)Apache Hadoop生態(tài)系統(tǒng)的影響是什么

Hadoop生態(tài)系統(tǒng)取得如此巨大成功的一個(gè)主要原因是它是一個(gè)免費(fèi)開(kāi)放的大數(shù)據(jù)軟件框架。軟件開(kāi)發(fā)人員可以訪問(wèn)和修改其源代碼，以創(chuàng)建自己的大數(shù)據(jù)產(chǎn)品或應(yīng)用程序。Hadoop已經(jīng)創(chuàng)建了幾個(gè)大數(shù)據(jù)分析應(yīng)用程序。在大數(shù)據(jù)定義我們生活的時(shí)候，可以公平地說(shuō)Hadoop一直在定義應(yīng)該如何分析大數(shù)據(jù)。這主要是因?yàn)锳pache Hadoop生態(tài)系統(tǒng)從開(kāi)源軟件中獲得了原則值。在這種情況下，確定激發(fā)Hadoop生態(tài)系統(tǒng)的原則是非常恰當(dāng)?shù)?。突出原則將在下面討論。

啟發(fā)Apache Hadoop的突出開(kāi)源原則

訪問(wèn)源代碼 - 根據(jù)開(kāi)源原則，任何人都可以使用開(kāi)源軟件的源代碼進(jìn)行修改和增強(qiáng)。軟件開(kāi)發(fā)人員甚至可以使用源代碼創(chuàng)建軟件應(yīng)用程序。因此，Hadoop框架正在被重用和修改，以圍繞它開(kāi)發(fā)幾個(gè)軟件應(yīng)用程序。

協(xié)作 - 當(dāng)多個(gè)人聚在一起時(shí)，就會(huì)創(chuàng)建高質(zhì)量的開(kāi)源軟件。協(xié)作可以產(chǎn)生新的想法，解決在孤島中工作的人可能無(wú)法解決的復(fù)雜問(wèn)題，并發(fā)現(xiàn)查看問(wèn)題的新方法。

不歧視任何利益 - 根據(jù)開(kāi)源系統(tǒng)，任何人都可以編輯源代碼，創(chuàng)建軟件應(yīng)用程序并免費(fèi)贈(zèng)送，出售或用于研究目的。該原則激發(fā)了幾種軟件應(yīng)用程序的創(chuàng)建，這些應(yīng)用程序可以免費(fèi)獲得，也可以從商業(yè)上獲得。

許可證是技術(shù)中立的 - 開(kāi)源許可證條款和條件不支持任何特定技術(shù)或編程語(yǔ)言。源代碼可用于在任何平臺(tái)上開(kāi)發(fā)軟件應(yīng)用程序。

對(duì)使用的軟件沒(méi)有限制 - 任何訪問(wèn)源代碼和開(kāi)發(fā)其他軟件應(yīng)用程序的人都可以免費(fèi)使用其他軟件或其他源代碼。

開(kāi)源對(duì)Hadoop生態(tài)系統(tǒng)的影響

Hadoop生態(tài)系統(tǒng)是一個(gè)全面，組織良好的安排，使大數(shù)據(jù)分析變得簡(jiǎn)單而準(zhǔn)確。Hadoop生態(tài)系統(tǒng)包含多個(gè)軟件應(yīng)用程序，每個(gè)應(yīng)用程序都專門(mén)處理特定任務(wù)。然而，雖然整個(gè)生態(tài)系統(tǒng)是軟件工具的組合，但每個(gè)工具本身都能夠獨(dú)立完成專門(mén)的工作。這意味著您可以選擇實(shí)現(xiàn)目的所需的特定工具 - Hadoop非常靈活。Hadoop不會(huì)通過(guò)強(qiáng)制您以某種方式使用該軟件的規(guī)則來(lái)綁定您。您可以以任何您喜歡的方式使用源代碼。

讓我們來(lái)看看Hadoop生態(tài)系統(tǒng)如何工作的概述，以及它如何包含開(kāi)源原則。

讓我們從Hadoop的基本定義開(kāi)始。據(jù)IBM稱，“Apache Hadoop是一個(gè)開(kāi)源軟件項(xiàng)目，可以跨商品服務(wù)器集群分布式處理大型數(shù)據(jù)集。它旨在從單個(gè)服務(wù)器擴(kuò)展到數(shù)千臺(tái)機(jī)器，具有非常高的容錯(cuò)能力。這些集群的彈性不是依賴于高端硬件，而是來(lái)自軟件在應(yīng)用層檢測(cè)和處理故障的能力。“

Hadoop如何工作?Hadoop生態(tài)系統(tǒng)包含不同的單元，每個(gè)單元執(zhí)行不同的工作。不同的單位是：

Hadoop分布式文件系統(tǒng)(HDFS) - HDFS是Hadoop的大數(shù)據(jù)存儲(chǔ)系統(tǒng)。您可以存儲(chǔ)大量數(shù)據(jù)并在處理時(shí)取出數(shù)據(jù)。為了存儲(chǔ)數(shù)據(jù)，Hadoop使用分布式框架，其中數(shù)據(jù)存儲(chǔ)在許多商品服務(wù)器上。這種安排是這樣的，即使服務(wù)器脫機(jī)，它也不會(huì)干擾整個(gè)設(shè)置; 它照常營(yíng)業(yè)。這就是使Hadoop成為一個(gè)彈性系統(tǒng)的原因。雖然HDFS是Hadoop自己的數(shù)據(jù)存儲(chǔ)工具，但它也可以使用外部文件系統(tǒng)來(lái)存儲(chǔ)數(shù)據(jù)。

MapReduce - MapReduce應(yīng)用程序分析和處理HDFS存儲(chǔ)的大數(shù)據(jù)。它從HDFS中提取數(shù)據(jù)，而無(wú)需使用行業(yè)標(biāo)準(zhǔn)的SQL或其他查詢語(yǔ)言。MapReduce使用其他基于Java的應(yīng)用程序來(lái)處理數(shù)據(jù)。

Hadoop生態(tài)系統(tǒng)提供了速度和可靠性，因?yàn)閿?shù)據(jù)存儲(chǔ)和分析不依賴于托管數(shù)據(jù)的多個(gè)商用服務(wù)器中的任何一個(gè)。大數(shù)據(jù)以及HDFS和MapReduce存儲(chǔ)在每個(gè)商品服務(wù)器中。因此，即使一臺(tái)或多臺(tái)服務(wù)器出現(xiàn)故障，工作也不會(huì)中斷。這里的假設(shè)是服務(wù)器可能隨時(shí)出現(xiàn)故障并且無(wú)法停止。因此，系統(tǒng)需要到位，以確保在服務(wù)器出現(xiàn)故障時(shí)不會(huì)中斷工作。

Hadoop的一大特色是它的靈活性。要開(kāi)發(fā)軟件應(yīng)用程序，Hadoop的用戶不一定需要使用HDFS或MapReduce。例如，Amazon Web Services系統(tǒng)已將其專有的S3文件系統(tǒng)與Hadoop相匹配，而無(wú)需使用HDFS。同樣，DataStax Brisk是一個(gè)不使用HDFS的Hadoop應(yīng)用程序。而是使用Apache Cassandra的 CassandraFS。因此，您已經(jīng)可以看到開(kāi)源系統(tǒng)的原理如何激發(fā)了Hadoop生態(tài)系統(tǒng)。

確定開(kāi)源對(duì)Hadoop的影響并不難?？梢钥隙ǖ卣f(shuō)，Hadoop生態(tài)系統(tǒng)將編寫(xiě)將來(lái)如何處理大數(shù)據(jù)的規(guī)則。只要Hadoop忠于開(kāi)源軟件的價(jià)值，就會(huì)出現(xiàn)這種情況。開(kāi)源是Hadoop生態(tài)系統(tǒng)的精神和靈魂。無(wú)論軟件工具多么強(qiáng)大或智能，如果不向全球軟件社區(qū)提供或共享，它就無(wú)法獲得普遍接受。

目前，開(kāi)源軟件是所有軟件社區(qū)的主要吸引力。Apache Hadoop是最成功的開(kāi)源平臺(tái)之一。相關(guān)的Hadoop生態(tài)系統(tǒng)產(chǎn)品也基于開(kāi)源軟件。開(kāi)源哲學(xué)肯定會(huì)在不久的將來(lái)受歡迎，這意味著我們可以期待許多新的軟件平臺(tái)。