CDH5.5.1環(huán)境部署
點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！Hadoop采用的是Cloudera公司（hadoop的分發(fā)商）的CDH5版本。操作系統(tǒng)為Centos 6.5版本。
Hadoop安裝采用YUM安裝的方式。由于大多數(shù)安裝hadoop的設(shè)備都在內(nèi)網(wǎng)環(huán)境中，所以需要配置自定義的YUM軟件源。操作系統(tǒng)版本：Centos 6.5 64位Hadoop是一個(gè)分布式的系統(tǒng)，由多臺(tái)設(shè)備共同提供服務(wù)。
每臺(tái)設(shè)備上需要安裝不同的hadoop服務(wù)。部署規(guī)劃階段根據(jù)hadoop服務(wù)特點(diǎn)和設(shè)備配置情況，對(duì)hadoop服務(wù)的安裝情況作出整體規(guī)劃，將hadoop相應(yīng)的服務(wù)安裝在合適的設(shè)備上。
上圖展示了hadoop的服務(wù)以及運(yùn)行過(guò)程中需要的系統(tǒng)服務(wù)。
- NFS Server和DNS Server可以不使用，不使用不會(huì)影響hadoop正常運(yùn)行。NFS Server會(huì)防止數(shù)據(jù)丟失；DNS Server會(huì)降低配置的復(fù)雜度，尤其在設(shè)備數(shù)量較多的時(shí)候。
- DataNode所在設(shè)備需要掛載多個(gè)磁盤(pán)，提高數(shù)據(jù)寫(xiě)入和讀取數(shù)據(jù)。DataNode不要和NameNode、SecondaryNameNode、ResourceManager、Standby NameNode、Standby ResourceManager安裝在同一臺(tái)設(shè)備上。
- NameNode、SecondaryNameNode、ResourceManager可以安裝在一臺(tái)設(shè)備上。這樣會(huì)消耗設(shè)備較多的硬件資源。
- 使用NameNode的HA方式就不需要安裝SecondaryNameNode。Standby NameNode不能和NameNode安裝在一臺(tái)設(shè)備上。
- ResourceManagerHA方式中Standby ResourceManager不能和ResourceManager安裝在一臺(tái)設(shè)備上。
- 安裝服務(wù)器和管理監(jiān)控服務(wù)可以和其他服務(wù)共享一臺(tái)設(shè)備。
此時(shí)應(yīng)該對(duì)hadoop的安裝情況作出規(guī)劃。hadoop一旦被部署完成，結(jié)構(gòu)的調(diào)整將會(huì)很難進(jìn)行而且有一定的風(fēng)險(xiǎn)。1. 安裝操作系統(tǒng)
在運(yùn)行hadoop服務(wù)的每臺(tái)設(shè)備上安裝linux操作系統(tǒng)。操作系統(tǒng)使用Centos6.5的64位操作系統(tǒng)。所有設(shè)備的操作系統(tǒng)要求一致。操作系統(tǒng)安裝完成后，對(duì)設(shè)備進(jìn)行網(wǎng)絡(luò)配置，使得各個(gè)設(shè)備之間的網(wǎng)絡(luò)通暢。使用IPv4的IP地址格式。在設(shè)備上掛載磁盤(pán)。在DataNode設(shè)備上掛載大容量的磁盤(pán)，最好一個(gè)設(shè)備上掛載多塊磁盤(pán)。最好能夠在NameNode、SecondaryNameNode設(shè)備掛載NFS磁盤(pán)系統(tǒng)。管理監(jiān)控服務(wù)也許一定的磁盤(pán)空間，大約需要50G的磁盤(pán)空間。
操作系統(tǒng)的介質(zhì)包需要部署人員去下載，介質(zhì)包是：2. 設(shè)置主機(jī)名稱(chēng)
Hadoop服務(wù)是通過(guò)主機(jī)名稱(chēng)進(jìn)行網(wǎng)絡(luò)通訊的。安裝hadoop服務(wù)的設(shè)備都需要設(shè)置主機(jī)名稱(chēng)。 編輯/etc/sysconfig/network文件的HOSTNAME設(shè)置主機(jī)名。
3. 時(shí)鐘同步設(shè)置
hadoop服務(wù)的設(shè)備之間要保持時(shí)間一致。設(shè)置統(tǒng)一時(shí)鐘同步服務(wù)。每個(gè)設(shè)備上要啟動(dòng)ntpd服務(wù)，啟動(dòng)ntpd之前，每個(gè)設(shè)備先做一次手動(dòng)的同步操作。
4. 關(guān)閉防火墻
hadoop服務(wù)安裝的所有設(shè)備上都要關(guān)閉防火墻設(shè)置。service iptables stop
chgconfig iptables off
5. 關(guān)閉SeLinux
hadoop服務(wù)的所有設(shè)備上關(guān)閉SeLinux。
6. 設(shè)置主機(jī)路由
在hadoop服務(wù)的設(shè)備上設(shè)置主機(jī)名與IP地址路由，確保任意兩個(gè)設(shè)置之間能夠通過(guò)主機(jī)名能夠進(jìn)行訪問(wèn)。或者可以選擇設(shè)置設(shè)備的DNS為指定的DNS Server。建議使用DNS Server設(shè)置設(shè)備的DNS路由。
7. 設(shè)置root密碼
安裝過(guò)程中使用root用戶安裝，需要設(shè)置所有設(shè)備root用戶的密碼為相同的密碼。該密碼是在安裝的過(guò)程中使用，如果結(jié)束后可以修改該密碼。
8. 設(shè)置自定義YUM軟件源服務(wù)
在安裝服務(wù)器上設(shè)置自定義YUM軟件源。以下操作在安裝服務(wù)器上進(jìn)行：
- 安裝系統(tǒng)組件：createrepo。在操作系統(tǒng)安裝介質(zhì)中的Packages目錄下找到createrepo-0.9.9-18.el6.noarch安裝包使用rpm命令安裝。
- 將安裝介質(zhì)中的cdh5目錄復(fù)制到設(shè)備的/var/www/html目錄下面。
- 將安裝介質(zhì)中的cmd5目錄復(fù)制到設(shè)備的/var/www/html目錄下面。
- 將操作系統(tǒng)安裝介質(zhì)的Packages目錄復(fù)制到/var/www/html/os目錄下面。Packages目錄是操作系統(tǒng)的介質(zhì)包CentOS-6.5-x86_64-bin-DVD1.iso 中的Packages：
- 進(jìn)入/var/www/html/cdh5目錄，執(zhí)行命令
- 進(jìn)入/var/www/html/cm5目錄，執(zhí)行命令
- 進(jìn)入/var/www/html/os目錄，執(zhí)行命令
- 啟動(dòng)http服務(wù)：service httpd start
9. 設(shè)置自定義YUM軟件源
在hadoop所有服務(wù)設(shè)備上設(shè)置安裝服務(wù)器為自定義YUM軟件源。1）進(jìn)入/etc/yum.repos.d目錄，創(chuàng)建hadoop.repo文件，編輯該文件：2）將/etc/yum.repos.d目錄中的其它的.repo文件（hadoop.repo之外的文件）刪除或者后綴名改為.bak
10. 重啟設(shè)備
將所有進(jìn)行設(shè)置的設(shè)備重新啟動(dòng)，讓設(shè)置生效。如果安裝服務(wù)器上的http服務(wù)沒(méi)有設(shè)置開(kāi)機(jī)啟動(dòng)，還需要在安裝服務(wù)器上啟動(dòng)http服務(wù)：service httpd start1. 安裝Cloudera Manager
將介質(zhì)中cloudera-manager-installer.bin文件復(fù)制到安裝監(jiān)控服務(wù)器的/opt目錄中，然后執(zhí)行下面的命令：./cloudera-manager-installer.bin --skip_repo_package=1
執(zhí)行命令后，會(huì)出現(xiàn)Cloudera Manager的安裝向?qū)В?/span>Cloudera Manager安裝結(jié)束后，出現(xiàn)提示界面。記下提示中的URL。2. 安裝部署CDH
在瀏覽器地址欄中輸入Cloudera Manager提示界面中的URL：http://192.168.XX.35:7180使用admin用戶登錄Cloudera Manager，admin用戶的初始密碼為：admin選擇Cloudera Express，繼續(xù)。指定集群中hadoop使用的所有主機(jī)。輸入主機(jī)名或者IP地址，每行一個(gè)，然后點(diǎn)擊搜索：- CDH版本：自定義存儲(chǔ)庫(kù)，輸入自定義YUM軟件源的cdh的url。
- Clouera Manager Agent：自定義存儲(chǔ)庫(kù)，輸入自定義YUM軟件源的cm的url。
使用root用戶安裝，所有主機(jī)的root用戶接受相同密碼，輸入root用戶的密碼。介質(zhì)的安裝階段，時(shí)間較長(zhǎng)需要等待一段時(shí)間。選擇安裝的服務(wù)類(lèi)型。自定義服務(wù)中選擇HDFS和YARN。選擇主機(jī)設(shè)備將被安裝的服務(wù)。根據(jù)前期的部署規(guī)劃將hadoop服務(wù)安裝在對(duì)應(yīng)的主機(jī)設(shè)備中。其中Cloudera Management Service安裝在安裝監(jiān)控服務(wù)器中。使用嵌入式數(shù)據(jù)庫(kù)，用來(lái)存儲(chǔ)Cloudera Manager的元數(shù)據(jù)。集群配置的Cloudera Management Service的配置使用默認(rèn)即可。HDFS和YARN配置：
- DataNode數(shù)據(jù)目錄：配置數(shù)據(jù)的存儲(chǔ)目錄。如果是多個(gè)磁盤(pán)，配置多個(gè)路徑。路徑之間使用逗號(hào)（,）分隔。
- NameNode數(shù)據(jù)目錄：是NameNode的元數(shù)據(jù)的保存目錄，可以是多個(gè)目錄。每個(gè)目錄中寫(xiě)入相同的數(shù)據(jù)用于備份。多個(gè)目錄路勁使用逗號(hào)分隔。多個(gè)目錄中最好有一個(gè)是NFS系統(tǒng)的目錄用于備份。
- HDFS檢查點(diǎn)目錄：是SecondaryNameNode用戶合并元數(shù)據(jù)的工作目錄。也可以是多個(gè)目錄，多個(gè)目錄路徑是有逗號(hào)分隔。
- NodeManager本地目錄列表：MapReduce計(jì)算的中間結(jié)果的存儲(chǔ)目錄。可以配置多個(gè)目錄多個(gè)目錄路徑是有逗號(hào)分隔。
注意：上述配置的路徑會(huì)在多個(gè)設(shè)備上創(chuàng)建相同的目錄，需要先在每個(gè)設(shè)備上創(chuàng)建相同目錄，而且創(chuàng)建的目錄能夠掛載到存儲(chǔ)。集群首次運(yùn)行啟動(dòng)相關(guān)服務(wù)。本文作者：高智飛（上海新炬王翦團(tuán)隊(duì)）
本文來(lái)源：“IT那活兒”公眾號(hào)
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/129357.html
