摘要：在之前公眾號(hào)的數(shù)人云工程師手記基于的集群管理開(kāi)發(fā)實(shí)踐對(duì)的服務(wù)發(fā)現(xiàn)及負(fù)載均衡有詳細(xì)的介紹。服務(wù)名稱為服務(wù)命名，必須為英文或數(shù)字。

本文是數(shù)人云9月22日線上微信群分享的文章實(shí)錄。數(shù)人云容器管理面板Crane開(kāi)源以來(lái)，很多小伙伴對(duì)它還不是非常了解，數(shù)人云工程師金鑫從Crane技術(shù)背景、環(huán)境準(zhǔn)備和使用步驟等方面為大家做了詳細(xì)的介紹，并整理大家常見(jiàn)的問(wèn)題逐一進(jìn)行了解答。

Docker1.12發(fā)布已有一段時(shí)間了，像Swarm mode模式、應(yīng)用編排、滾動(dòng)更新、健康檢查、服務(wù)發(fā)現(xiàn)等等、這些功能給開(kāi)發(fā)者們帶來(lái)了更多驚喜，之前在安裝 Docker之外，還要安裝其它的組件來(lái)配合完成，比如Mesos－Marathon，比如K8S，現(xiàn)在Docker決定大包大攬，將這些功能整合到了一起。安裝Docker1.12以后，通過(guò)命令行，幾條命令，Swarm集群，overlay網(wǎng)絡(luò)，服務(wù)發(fā)現(xiàn)等均可創(chuàng)建完成。

這里再提一下Docker1.12的服務(wù)發(fā)現(xiàn)和負(fù)載均衡是結(jié)合在一起實(shí)現(xiàn)的，有兩種方式，一種是DNS輪詢，一種是IPVS；IPVS這種方式，Docker為每個(gè)服務(wù)都分配來(lái)一個(gè)虛擬ip，這個(gè)ip是為服務(wù)做保留，不是對(duì)外提供服務(wù)。在創(chuàng)建服務(wù)時(shí)，通過(guò)entrypoint－mode的參數(shù)來(lái)確定是基于dnsrr（輪詢）還是VIP（IPVS）的服務(wù)發(fā)現(xiàn)方式。

考慮到基于DNS的方式做負(fù)載均衡，會(huì)有時(shí)效性的問(wèn)題，DNS生效的時(shí)間導(dǎo)致不能實(shí)時(shí)反映服務(wù)的變化情況。會(huì)有服務(wù)發(fā)現(xiàn)不準(zhǔn)確的情況。而且，IPVS支持udp協(xié)議。稍有遺憾的是，不支持會(huì)話保持，我們?cè)贑rane發(fā)布的服務(wù)默認(rèn)的服務(wù)發(fā)現(xiàn)的方式是后一種，IPVS的方式也是Docker1.12默認(rèn)的服務(wù)發(fā)現(xiàn)方式。

Docker1.12的功能很誘人，但是在使用上來(lái)講，一旦服務(wù)數(shù)量增加，單純靠命令行管理，畢竟不是很方便，所以，數(shù)人云開(kāi)發(fā)了這樣一款工具，并且把它開(kāi)源出來(lái)，供大家更方便的使用新版 Docker帶來(lái)的新特性。

Crane!!!

Crane作為國(guó)內(nèi)第一款基于SwarmKit的容器管理工具，開(kāi)源之后，小伙伴們?cè)囉脽崆楦邼q，也有小伙伴表示，體驗(yàn)時(shí)會(huì)在使用的某一處卡住，無(wú)法進(jìn)行進(jìn)一步的體驗(yàn)。這里針對(duì)大家反饋比較多的使用問(wèn)題，做一點(diǎn)說(shuō)明，避免環(huán)境原因，影響到小伙伴們的Crane體驗(yàn)。

目前推薦的主機(jī)系統(tǒng)是CentOS7或者Ubuntu14.04，及以上版本，雖然Docker新版本已經(jīng)可以在Mac上安裝，考慮不是主流，該版本未在Mac下的測(cè)試。

請(qǐng)確保Docker安裝版本 >=1.12, 并確保Docker正常運(yùn)行.(如何安裝和配置Docker請(qǐng)參考https://docs.docker.com/engin...

按照如上說(shuō)明，安裝的Docker版本因該是1.12.1。service docker restart，啟動(dòng)Docker。

請(qǐng)確保docker-compose已經(jīng)正確安裝.(如何安裝docker-compose請(qǐng)參考https://docs.docker.com/compo...

注意，這里安裝后的docker－compose版本是1.8.0，如果您已經(jīng)按照過(guò)較早版本的docker－compose，需要按照上述的地址更新到新版本，因?yàn)槌绦騿?dòng)的語(yǔ)法是按照docker－compose的2.0語(yǔ)法。版本較早會(huì)影響程序的安裝。
請(qǐng)確保主機(jī)的selinux和firewalld為關(guān)閉狀態(tài)，如果不關(guān)閉，會(huì)影響Docker的一些功能使用。

關(guān)閉selinux 方法：vim /etc/sysconfig/selinux 設(shè)置 SELINUX=disabled 并重啟系統(tǒng)

關(guān)閉firewalld方法：CentOS 7.0默認(rèn)使用的是firewall作為防火墻，如果是Ubuntu，可以跳過(guò)這步。

systemctl status firewalld.service#查看firewall狀態(tài) 
systemctl start firewalld.service#啟動(dòng)firewall 
systemctl stop firewalld.service#停止firewall 
systemctl disable firewalld.service#禁止firewall開(kāi)機(jī)啟動(dòng)

確保iptables對(duì)Docker沒(méi)有規(guī)則限制,通常來(lái)講，系統(tǒng)默認(rèn)即可，如果您的環(huán)境內(nèi)基于iptables的防火墻限制，建議刪除。因?yàn)镾warm mode的服務(wù)發(fā)現(xiàn)和負(fù)載均衡均利用到iptables的轉(zhuǎn)發(fā)規(guī)則。避免使用中遇到限制，需要將iptables的限制 規(guī)則清空。在之前公眾號(hào)的《數(shù)人云工程師手記 | 基于 Docker 1.12 Swarm 的集群管理開(kāi)發(fā)實(shí)踐》對(duì)Swarm的服務(wù)發(fā)現(xiàn)及負(fù)載均衡有詳細(xì)的介紹。有想深入了解的小伙伴可以在微信公眾號(hào)內(nèi)查找到該文章。

請(qǐng)確保NTP服務(wù)開(kāi)啟，收到的反饋比較多的是安裝腳本執(zhí)行過(guò)程中提示：

NTP is unsynchronised, Please confirm your ntp status before continue. 

解決方式：以CentOS7為例，安裝NTP服務(wù)，

yum install -y ntp && systemctl start ntpd && systemctl enable ntpd && systemctl disable chronyd  
  ntpdate time.nist.gov 

ntpsat 查看,顯示如下正常，

   synchronised to NTP server (59.46.44.253) at stratum 3  
   time correct to within 62 ms 
   polling server every 1024 s 

若仍出現(xiàn)unsynchronised字樣，需要重啟ntpd服務(wù)

service ntpd restart 

確保開(kāi)啟Docker的TCP連接端口。
centos：
vim /lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375  -H unix:///var/run/docker.sock 

systemctl daemon-reload && service docker restart

ubuntu：
vim /etc/default/docker

OCKER_OPTS="-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock" 

service docker restart
2375為Docker默認(rèn)的tcp通訊端口，稍后在使用主機(jī)連接時(shí)需要用到。
至此，基礎(chǔ)環(huán)境準(zhǔn)備完畢！

安裝Crane的主機(jī)默認(rèn)會(huì)作為集群的管理節(jié)點(diǎn)，可以直接發(fā)布服務(wù)。

作為剛開(kāi)始接觸1.12的同學(xué)可以先按向?qū)Ｊ絹?lái)發(fā)布，這樣更便于了解新增的Docker運(yùn)行參數(shù)，選擇向?qū)Ｊ絼?chuàng)建。這里對(duì)參數(shù)做一下介紹。然后我們發(fā)布一個(gè)ZooKeeper的集群作為演示的demo。

服務(wù)名稱: 為服務(wù)命名，必須為英文或數(shù)字。

鏡像名稱: 服務(wù)使用的鏡像，主機(jī)已存在的鏡像或者為集群可以pull的鏡像。

服務(wù)模式: 設(shè)定服務(wù)模式類型，分為固定實(shí)例數(shù)和一節(jié)點(diǎn)一任務(wù)模式。

選擇網(wǎng)絡(luò): 服務(wù)使用的網(wǎng)絡(luò)，需要在網(wǎng)絡(luò)里預(yù)先創(chuàng)建。

認(rèn)證標(biāo)識(shí): 預(yù)先設(shè)置的倉(cāng)庫(kù)認(rèn)證信息，如果使用的鏡像倉(cāng)庫(kù)需要登錄驗(yàn)證，可以預(yù)先在倉(cāng)庫(kù)認(rèn)證處設(shè)置登錄信息的用戶名、密碼，設(shè)置不同的標(biāo)簽；此處選擇相應(yīng)的認(rèn)證標(biāo)簽。

端口映射:建立宿主機(jī)的端口與容器端口的映射關(guān)系，支持TCP和UDP協(xié)議。

環(huán)境變量：設(shè)置容器啟動(dòng)時(shí)的環(huán)境變量。

啟動(dòng)參數(shù)：

容器工作目錄：容器內(nèi)工作路徑，如設(shè)置/root，容器內(nèi)工作路徑在/root，如需執(zhí)行／root／test.sh，此處設(shè)置/root，命令行設(shè)置sh test.sh即可;
命令行：容器啟動(dòng)的運(yùn)行命令。需要說(shuō)明的是，此處的命令行更相當(dāng)于dockerfile中的entrypoint。

參數(shù)：為命令行提供參數(shù)。

示例： 本地docker run命令為：

docker run centos bash -c "while [ true ]; do echo "this is a test"; sleep 10; done;"

命令行輸入
bash
參數(shù)輸入兩項(xiàng)

-c
while [ true ]; do echo "this is a test"; sleep 10; done;

標(biāo)簽： 可以分別為服務(wù)和服務(wù)添加標(biāo)簽。

資源限制：設(shè)定服務(wù)每個(gè)容器的限制資源及預(yù)留資源。

容錯(cuò)策略：針對(duì)容器健康狀態(tài)設(shè)置的重啟策略，分別為退出、失敗，退出指只要容器退出了,重啟策略即生效，失敗指容器非正常退出，重啟策略才生效，若不設(shè)置重啟策略，可以選擇從不。

評(píng)估間隔：設(shè)定的時(shí)間用來(lái)評(píng)估重啟政策。

重啟間隔：容器重啟的時(shí)間間隔。

嘗試次數(shù)：嘗試次數(shù)后，不再重啟。

更新策略：服務(wù)更新時(shí)執(zhí)行的策略

間隔：更新間隔，通常指更新的并行數(shù)<現(xiàn)有實(shí)例數(shù)；二次更新時(shí)的間隔時(shí)間。
并行數(shù)：一次更新的最大實(shí)例數(shù)

失敗后策略，如果更新失敗執(zhí)行的策略，分繼續(xù)嘗試和立即停止兩種。

調(diào)度策略：指服務(wù)發(fā)布的容器的調(diào)度分布，可以將服務(wù)的容器發(fā)布到指定的node* 節(jié)點(diǎn)或者指定label的節(jié)點(diǎn),label需要預(yù)先編輯，label為key：value格式，

限定label輸入方式node.labels.yourkey:yourvalue

限定節(jié)點(diǎn)id輸入方式node.id:yournodeid

限定hostname的輸入方式node.hostname:yourhostname

文件掛載：掛載宿主機(jī)路徑到容器內(nèi)，可以選擇該路徑到屬性，如只讀，讀寫(xiě)。source為主機(jī)路徑,taget為容器內(nèi)路徑。

發(fā)布ZooKeeper集群。因?yàn)楸韱屋^長(zhǎng)，這里摘取了主要參數(shù)。

創(chuàng)建項(xiàng)目：zookeeper

服務(wù)1 node1

鏡像：zookeeper

網(wǎng)絡(luò)默認(rèn)選擇ingress

端口映射

`2181 tcp 2181
2888 tcp 2888
3888 tcp 3888 `

環(huán)境變量：

ZOO_SERVERS=server.1=node1:2888:2888 server.2=node2:2889:3889 server.3=node3:2890:3890

ZOOMYID=1 點(diǎn)擊繼續(xù)添加

服務(wù)2 node2

鏡像：zookeeper

網(wǎng)絡(luò)默認(rèn)選擇ingress

端口映射

2181 tcp 2182
2888 tcp 2889
3888 tcp 3889

環(huán)境變量：

ZOO_SERVERS=server.1=node1:2888:2888 server.2=node2:2889:3889 server.3=node3:2890:3890

ZOOMYID=2 點(diǎn)擊繼續(xù)添加

服務(wù)3 node3

鏡像：zookeeper

網(wǎng)絡(luò)默認(rèn)選擇 ingress

端口映射

2181 tcp 2183
2888 tcp 2890
3888 tcp 3890

環(huán)境變量：

ZOO_SERVERS=server.1=node1:2888:2888 server.2=node2:2889:3889 * server.3=node3:2890:3890

ZOOMYID=3

點(diǎn)擊部署，等待鏡像拉取成功后，（點(diǎn)擊容器id--終端）執(zhí)行./bin/zsServer.sh status 查看該容器的節(jié)點(diǎn)屬性leaderorfollow

發(fā)布好的服務(wù)可以直接保存為模版。保存好的模版可以通過(guò)快捷創(chuàng)建，直接使用。也可以通過(guò)bundle的文件來(lái)快速部署應(yīng)用。

點(diǎn)擊項(xiàng)目－創(chuàng)建項(xiàng)目－DAB創(chuàng)建－輸入項(xiàng)目名稱－試試看中選擇wordpress-部署。（也可以直接讀取已有的DAB文件來(lái)發(fā)布。）

鏡像拉取會(huì)有一小段時(shí)間，等待服務(wù)運(yùn)行，訪問(wèn)主機(jī)的8000的端口，即可訪問(wèn)剛剛創(chuàng)建的應(yīng)用。

Crane提供更直觀的方式創(chuàng)建網(wǎng)絡(luò)、添加主機(jī)、管理已發(fā)布的服務(wù)。詳細(xì)的操作手冊(cè)可以參考我們的線上的使用手冊(cè)(https://dataman.gitbooks.io/c...

Q:應(yīng)用商店里怎么添加第三方應(yīng)用？第三方應(yīng)用需要怎么去做？
A:之前我們的內(nèi)測(cè)版本，自行設(shè)定編排模版的接口沒(méi)有開(kāi)放，現(xiàn)在已經(jīng)增加，有兩種方式，一種是在鏡像--新建項(xiàng)目模版處，直接創(chuàng)建項(xiàng)目模版。項(xiàng)目名稱為英文或數(shù)字。因?yàn)檫@個(gè)模版事基于bandle來(lái)發(fā)布，需要準(zhǔn)備符合格式dab文件項(xiàng)目描述，圖片不是必要選項(xiàng)。

另一種方式：通過(guò)已經(jīng)發(fā)布的服務(wù)，直接轉(zhuǎn)換為模版。
點(diǎn)擊創(chuàng)建好的項(xiàng)目名稱，右上角會(huì)看到添加至模版，點(diǎn)擊該按鈕，操作與上一方式類似，dab文件默認(rèn)為現(xiàn)有項(xiàng)目的設(shè)置。

Q:容器資源配置時(shí)，不能手動(dòng)輸入大小， 鼠標(biāo)滑鼠很麻煩。
A：這個(gè)設(shè)計(jì)瀏覽器規(guī)約，怪我們之前沒(méi)有說(shuō)明，我們建議使用瀏覽器是Chrome和Firefox，優(yōu)先建議使用新版本Chrome。

Q：拉取rolex_db鏡像時(shí)，響應(yīng)較慢。
A：之前的鏡像倉(cāng)庫(kù)出現(xiàn)了一點(diǎn)點(diǎn)問(wèn)題，現(xiàn)已經(jīng)修復(fù)。

Q：DAB方式很超前很強(qiáng)大。只是配置文件有學(xué)習(xí)曲線，如果做成可視化界面能幫助用戶生成DAB配置文件就好了。
A：這個(gè)功能其實(shí)已經(jīng)做了的，可能是方式不太直觀，我們可以在創(chuàng)建好服務(wù)之后，將json文件導(dǎo)出，這樣就會(huì)生出一個(gè)DAB的文件，默認(rèn)的導(dǎo)出會(huì)帶有參數(shù)的空置，如果您和我一樣，有點(diǎn)點(diǎn)強(qiáng)迫癥，可以修改文件，刪除多余的空值信息，另外，推薦一個(gè)json.cn的網(wǎng)站，可以將混在一起的json文件格式化。

Q：能否增加持續(xù)集成功能。gitlab/github項(xiàng)目代碼變更觸發(fā)本系統(tǒng)的鉤子，構(gòu)建鏡像，發(fā)布鏡像，更新應(yīng)用。
A：持續(xù)集成相對(duì)于docker現(xiàn)有功能來(lái)講，算是一個(gè)比較重的配套功能，目前考慮到方案選型和整合會(huì)帶來(lái)更大的復(fù)雜性，暫時(shí)不會(huì)加到這個(gè)項(xiàng)目中。不過(guò)更新功能已經(jīng)集成?？梢詤⒖汲掷m(xù)部署功能。

Q：起初上傳鏡像時(shí) docker login 172.18.24.69:5000/ -uadmin@admin.com -padminadmin 報(bào)錯(cuò) Error response from daemon: Get https://172.18.24.69:5000/v1/... http: server gave HTTP response to HTTPS client。
A：測(cè)試環(huán)境內(nèi)沒(méi)有復(fù)現(xiàn)這個(gè)問(wèn)題，需要提供更多的參考信息。

Q：?jiǎn)喂?jié)點(diǎn)部署完畢后嘗試登錄，提示"服務(wù)忙，請(qǐng)稍后重試"。
A：建議檢查起的容器狀態(tài)，如果方便，可以微信群發(fā)消息，遠(yuǎn)程查看。

我們列舉了幾個(gè)比較典型的反饋問(wèn)題，如果您的反饋沒(méi)有及時(shí)得到回復(fù)，可以在微信群里交流或者在GitHub上提交issue，反饋的處理優(yōu)先級(jí)較高。

我們的Crane開(kāi)源之后，許多熱情的小伙伴在試用之后，也給我們提了許多很好的功能建議，我們也內(nèi)部討論準(zhǔn)備在后續(xù)的版本中將部分功能整合到Crane之中。感謝所有支持Crane同學(xué)的建議！

比如有同學(xué)建議在應(yīng)用部署完成之后通過(guò)一個(gè)link可以直接打開(kāi)應(yīng)用的界面，這個(gè)功能目前的位置不明顯，后續(xù)我們會(huì)加強(qiáng)操作便捷性的改進(jìn)。

還有大家提及的安裝建議，按照如上的環(huán)境準(zhǔn)備說(shuō)明操作之后，部署會(huì)減少重復(fù)的操作。如果直接修改本機(jī)配置顯得又點(diǎn)霸道。我們考慮還是將修改的內(nèi)容在環(huán)境準(zhǔn)備時(shí)說(shuō)明。

部署時(shí)按照應(yīng)用向?qū)?chuàng)建時(shí)，選擇相應(yīng)參數(shù)但是未填寫(xiě)值，如果恰好點(diǎn)了折疊，應(yīng)用無(wú)法部署，提示不夠明顯，這部分的用戶提醒，我們正在改進(jìn)。

目前的部署方式為單點(diǎn)，在我們的roadmap中，將來(lái)會(huì)支持高可用的多節(jié)點(diǎn)部署。
更多系統(tǒng)的兼容，比如在Mac上部署。

自動(dòng)伸縮策略功能已經(jīng)在我們的roadmap中，方案正在論證，如果有好的思路可以給我們提建議。

作為Docker的大版本更新，1.12帶來(lái)了大幅的功能更新，但新功能總有那么一些不完美，建議現(xiàn)用Docker的小伙伴酌情更新。

原有的docker－compose文件需要轉(zhuǎn)換為bundle格式，如果有之前應(yīng)用使用了docker－compose，考慮升級(jí)時(shí)，需要一點(diǎn)轉(zhuǎn)換的工作量, 另外bundle并不能完全支持所有的參數(shù)。

不能支持host模式，雖然可以做到一主機(jī)一個(gè)任務(wù)，但是無(wú)法使用主機(jī)網(wǎng)絡(luò)，如果您的應(yīng)用需要暴露多個(gè)端口，需要一一映射。

網(wǎng)絡(luò)性能，overlay的網(wǎng)絡(luò)性能損耗較多，也是需要考量的一個(gè)點(diǎn)

服務(wù)發(fā)現(xiàn)還不是很完美，偶有不能正常發(fā)現(xiàn)的bug。

歡迎更多的小伙伴體驗(yàn)、支持?jǐn)?shù)人云的開(kāi)源項(xiàng)目，開(kāi)源項(xiàng)目地址：https://github.com/Dataman-Cl...。 目前建議的使用場(chǎng)景為開(kāi)發(fā)測(cè)試環(huán)境。