摘要：作者原文第一部分應(yīng)用混沌工程理論到區(qū)塊鏈框架。你可以抗議混沌環(huán)境在像與這種權(quán)限不足的公共區(qū)塊鏈網(wǎng)絡(luò)上是否存在。在之后這些被稱之為混沌工程?；煦缭瓌t開(kāi)始進(jìn)入正式規(guī)范。名字是混沌工程通過(guò)實(shí)驗(yàn)建立對(duì)系統(tǒng)行為的信心。

作者 Vipin Bharathan
原文：https://medium.com/@vipinsun/...

第一部分. 應(yīng)用混沌工程理論到區(qū)塊鏈框架。

混沌與工程兩個(gè)字是沒(méi)有什么關(guān)系的。在這篇文章，我們會(huì)探索下為什么他們會(huì)組合在一起并且應(yīng)用在區(qū)塊鏈上。第二部分我們會(huì)看到混沌工程在Hyperledger Indy的實(shí)現(xiàn)。我們用一個(gè)工業(yè)界不常見(jiàn)的縮寫(xiě)，混沌實(shí)驗(yàn)框架(chaos experimentation framework(CEF))。在這篇文章里為了使用方便，我們使用這種縮寫(xiě)形式。

這是一個(gè)使用微服務(wù)組成巨型可伸縮分布式系統(tǒng)的時(shí)代。Netflix,Linked-In,Medium,Amazon,Microsoft Azure,Uber,AirBnb等。沒(méi)有一個(gè)人甚至整個(gè)架構(gòu)和程序員團(tuán)隊(duì)的腦子中可以容納這個(gè)分布式系統(tǒng)的復(fù)雜架構(gòu)。這種系統(tǒng)的靜態(tài)配置也包括在不同硬件或云端上運(yùn)行的多種服務(wù)，通過(guò)網(wǎng)絡(luò)的多種SLA和運(yùn)行在許多邊緣設(shè)備的用戶界面相連接。由于這種靜態(tài)的復(fù)雜性，這種系統(tǒng)的實(shí)時(shí)行為引入了在不可信網(wǎng)絡(luò)系統(tǒng)組件上來(lái)自用戶與進(jìn)程上獨(dú)立輸入的層次。

這些組件可能崩潰，降級(jí)，或行為異常。惡意用戶到處都是。同樣在這個(gè)時(shí)代，混沌工程上出現(xiàn)了，最初作為一種粗略測(cè)量此種系統(tǒng)的方法；通過(guò)實(shí)踐變成一種哲學(xué)，通過(guò)會(huì)議,工具和廣泛傳播得到接受。

你可以抗議混沌環(huán)境在像Bitcoin與Ethereum這種權(quán)限不足的公共區(qū)塊鏈網(wǎng)絡(luò)上是否存在。他們已經(jīng)不知不覺(jué)中被混沌卷入了。節(jié)點(diǎn)在網(wǎng)絡(luò)中加入或重加入，惡意攻擊者持續(xù)的探測(cè)系統(tǒng)，網(wǎng)絡(luò)中斷?；煦缗c混沌工程有一個(gè)不同。混沌工程，繼承了混沌字面上的意思，其實(shí)是使用實(shí)驗(yàn)數(shù)據(jù)來(lái)發(fā)現(xiàn)系統(tǒng)弱點(diǎn)的一種工程手段。

開(kāi)始我們使用混沌工程的一些基本原則設(shè)置場(chǎng)景，就像存在在分布式系統(tǒng)的應(yīng)用中一樣。有一個(gè)混沌工程的開(kāi)源倉(cāng)庫(kù)叫chaos tookit。chaos toolkit是開(kāi)源的，其使用open API來(lái)生成混沌工程的交互步驟來(lái)描述實(shí)驗(yàn)。工具可以使用open API來(lái)擴(kuò)展而且在Kubernetes,AWS,Azure上已經(jīng)有驅(qū)動(dòng)存在了。它也可以被用來(lái)在持續(xù)集成和構(gòu)建時(shí)自動(dòng)化混沌工程。

我們調(diào)研了開(kāi)源chaos toolkit并了解這些實(shí)驗(yàn)是如何在這個(gè)系列的第二篇文章Hyperledger Indy被適配的。希望這可以鼓舞人們可以更了解自己的DLT平臺(tái)并建立一個(gè)成熟的混沌實(shí)驗(yàn)套裝來(lái)加固他們自己的平臺(tái)。

從2008年，當(dāng)Netflix開(kāi)始將他們的服務(wù)器從數(shù)據(jù)中心移到云端，他們的工程師實(shí)踐了一些在生產(chǎn)環(huán)境進(jìn)行類(lèi)似彈性測(cè)試的活動(dòng)。在之后這些被稱之為混沌工程。Chaos Monkey開(kāi)始被使用，大家知道它是用來(lái)在生產(chǎn)環(huán)境將服務(wù)關(guān)掉的工具?；煦缭瓌t開(kāi)始進(jìn)入正式規(guī)范。Netflix 混沌自動(dòng)化平臺(tái)在微服務(wù)生產(chǎn)環(huán)境7*24小時(shí)運(yùn)行混沌實(shí)驗(yàn)。

這些紀(jì)律作為混沌工程的關(guān)注點(diǎn)，有些資料清單可以看看。O’Reilly出版了一本很棒的關(guān)于混沌工程的免費(fèi)書(shū)。由于O’Relly需要注冊(cè)一下才能得到下載鏈接。我們很感謝在很多企業(yè)里實(shí)踐混沌工程的作者。名字是“混沌工程：通過(guò)實(shí)驗(yàn)建立對(duì)系統(tǒng)行為的信心”。

要定位分布式系統(tǒng)中的弱點(diǎn)，混沌工程可以被視為通過(guò)創(chuàng)建和運(yùn)行實(shí)驗(yàn)來(lái)發(fā)現(xiàn)系統(tǒng)的弱點(diǎn)。發(fā)現(xiàn)的弱點(diǎn)可以被記錄為系統(tǒng)的約束。關(guān)于弱點(diǎn)的證據(jù)可以被檢查并被實(shí)驗(yàn)重復(fù)執(zhí)行。

第一步是對(duì)系統(tǒng)的穩(wěn)態(tài)進(jìn)行度量。系統(tǒng)可以被它的輸出內(nèi)容所理解。系統(tǒng)穩(wěn)態(tài)的度量需要一個(gè)穩(wěn)定和輕便的監(jiān)控系統(tǒng)。輕便意味著度量的動(dòng)作不會(huì)顯著的對(duì)系統(tǒng)本身產(chǎn)生影響。發(fā)現(xiàn)穩(wěn)態(tài)需要對(duì)以下問(wèn)題作出解答。

什么需要被度量？是像cpu使用率，內(nèi)存利用率這種系統(tǒng)變量還是想響應(yīng)時(shí)間這種業(yè)務(wù)變量，還是像其他應(yīng)用的特定度量單位？ 有些時(shí)候以上所有方面都需要。

穩(wěn)態(tài)有沒(méi)有對(duì)時(shí)間的依賴？資源利用率的模式在每天/每周/每月或每個(gè)季度或每年或更大的周期里不同的時(shí)間都會(huì)不同。穩(wěn)態(tài)確實(shí)是一個(gè)不穩(wěn)定的狀態(tài)。

以下方式可以作為在區(qū)塊鏈視角下的設(shè)計(jì)混沌工程實(shí)驗(yàn)框架(CEF)并運(yùn)行的指導(dǎo)原則。

已知的弱點(diǎn)不能作為實(shí)驗(yàn)的目標(biāo)。如果1/3的攻擊破壞共識(shí)(BFT)，關(guān)閉一個(gè)致命比例的共識(shí)成員會(huì)造成已知的后果，從這個(gè)實(shí)驗(yàn)無(wú)法獲得更好的洞察結(jié)果。而在重要閾值上維持一個(gè)較小的數(shù)值是可以作為實(shí)驗(yàn)的。

對(duì)于區(qū)塊鏈，混沌工程實(shí)驗(yàn)應(yīng)該關(guān)注在共識(shí)，網(wǎng)絡(luò)，存儲(chǔ)層和通過(guò)隨機(jī)實(shí)驗(yàn)組合交叉切斷身份,智能合約，中央，用戶交互等方面。

當(dāng)我們?cè)诘诙恼吕镉懻撛贗ndy我們是怎樣進(jìn)行混沌實(shí)驗(yàn)時(shí)會(huì)提到這些。當(dāng)通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)了下層框架的問(wèn)題時(shí)，將由實(shí)驗(yàn)導(dǎo)致的問(wèn)題的進(jìn)程,API或相關(guān)的系統(tǒng)隔離掉以便盡可能多的收集相關(guān)信息。這些數(shù)據(jù)可以幫助我們對(duì)系統(tǒng)進(jìn)行加固。

混沌工程與單元測(cè)試和集成測(cè)試不同。與做故障注入和失敗測(cè)試也不同。一個(gè)CEF會(huì)使用一些故障注入工具，失敗注入和失敗測(cè)試通常一次瞄準(zhǔn)的是同一種失敗?；煦绻こ堂闇?zhǔn)的是通過(guò)隨機(jī)組合的事件來(lái)發(fā)現(xiàn)系統(tǒng)的新知識(shí)；包括客戶流量激增這種良性或有益的場(chǎng)景。除了通常的測(cè)試工具和實(shí)踐外還應(yīng)該也實(shí)施混沌工程。

從開(kāi)發(fā)和測(cè)試環(huán)境進(jìn)行實(shí)驗(yàn)，當(dāng)保證待修復(fù)的問(wèn)題都解決后，開(kāi)始逐漸向生產(chǎn)環(huán)境進(jìn)行。只有在生產(chǎn)環(huán)境才能真正觀察到混沌實(shí)驗(yàn)的非線性效應(yīng)。

從整個(gè)團(tuán)隊(duì)，特別是devops工程師與開(kāi)發(fā)團(tuán)隊(duì)溝通獲得支持。需要強(qiáng)調(diào)混沌工程不是一種對(duì)抗，而且通過(guò)實(shí)驗(yàn)可以對(duì)整個(gè)系統(tǒng)進(jìn)行加固。從實(shí)驗(yàn)獲得的知識(shí)一樣可以讓開(kāi)發(fā)上層活動(dòng)(架構(gòu)，設(shè)計(jì)，工程實(shí)現(xiàn))受益。并且與企業(yè)的業(yè)務(wù)團(tuán)隊(duì)溝通也是必要的。

隨機(jī)化實(shí)驗(yàn)，包括時(shí)間和實(shí)驗(yàn)本身。注意在學(xué)習(xí)穩(wěn)態(tài)時(shí)收集的資源利用率與系統(tǒng)響應(yīng)的信息，同時(shí)也要注意期間需要關(guān)注的一些特殊情況。

自動(dòng)化運(yùn)行實(shí)驗(yàn)，包括快速關(guān)閉實(shí)驗(yàn)的方式，尤其是當(dāng)你在生產(chǎn)環(huán)境做實(shí)驗(yàn)時(shí)。當(dāng)然這也包括在混沌框架與監(jiān)控系統(tǒng)間的自動(dòng)化監(jiān)控和一些反饋形式。

最小化爆炸半徑。實(shí)驗(yàn)的結(jié)果不應(yīng)該對(duì)生產(chǎn)系統(tǒng)造成重大干擾。多個(gè)步驟的討論可以對(duì)這個(gè)問(wèn)題有所幫助。

在高級(jí)實(shí)驗(yàn)中，可以將系統(tǒng)分成兩部分：一種是不會(huì)被實(shí)驗(yàn)影響的控制系統(tǒng)，一個(gè)是需要在做實(shí)驗(yàn)時(shí)看到度量效果的系統(tǒng)。這是混沌工程的高級(jí)實(shí)踐。

彈性:在Netflix，使用Chaos Monkey，只有獨(dú)立的進(jìn)程或VM會(huì)被關(guān)閉，這些可以保證讓Chaos Kong來(lái)關(guān)閉整個(gè)數(shù)據(jù)中心或區(qū)域(region)。通過(guò)這種方式我們可以看到整個(gè)區(qū)域(region)建的故障轉(zhuǎn)移情況。

Chaos成熟模型；講述了混沌工程里成熟度的多個(gè)級(jí)別。不同的維度：開(kāi)發(fā)系統(tǒng)到生產(chǎn)；混沌工程的自動(dòng)化級(jí)別； 。。 ；取決于團(tuán)隊(duì)走到了哪里，有一些關(guān)于成熟度模型的一些大概的名字。

區(qū)塊鏈架構(gòu)在federated或permissioned這種多個(gè)企業(yè)環(huán)境的區(qū)塊鏈場(chǎng)景比較有效。在公鏈上，環(huán)境不會(huì)被一種類(lèi)型的實(shí)體所控制。具體到在多stakeholder，多企業(yè)環(huán)境的區(qū)塊鏈的創(chuàng)建，通信和執(zhí)行CEF。使用CEF的好處很清晰。如果在開(kāi)發(fā)的起始階段執(zhí)行CEF，在開(kāi)發(fā)，業(yè)務(wù)用戶和運(yùn)維同事那里不會(huì)遇到很大的挑戰(zhàn)，因?yàn)榇藭r(shí)對(duì)于平臺(tái)的穩(wěn)定期望很低。CEF應(yīng)該可以與其他的DLT(Distributed Ledger Technology )框架一起成長(zhǎng)并成為生態(tài)系統(tǒng)的一部分。在permissioned setting的初始協(xié)議和管理方式討論中應(yīng)該將CEF實(shí)踐作為一項(xiàng)條件。

對(duì)于公鏈，像與其他參與者與開(kāi)發(fā)者社區(qū)溝通得到支持是必要的；需要一條為CEF部署準(zhǔn)備的從完整測(cè)試環(huán)境到生產(chǎn)環(huán)境的路徑。這對(duì)于利益的stakeholder和governance視角的公鏈上來(lái)看并不容易，公鏈還在生成和開(kāi)發(fā)。已存在的問(wèn)題，像以太坊(Ethereum)的DAO事件或比特幣的scaling debate都暴露了系統(tǒng)的脆弱性，并產(chǎn)生了解決方案。一個(gè)基于混沌成熟度模型的完善的CEF可以更早的暴露這些風(fēng)險(xiǎn)并在早期尋求解決方案。核心和邊緣系統(tǒng)都有許多其他的弱點(diǎn)可以被完善設(shè)計(jì)的CEF來(lái)覆蓋。

企業(yè)區(qū)塊鏈需要有一套測(cè)試環(huán)境，讓CEF可以加速投入到生產(chǎn)。這對(duì)于大多數(shù)企業(yè)區(qū)塊鏈都是一樣。

對(duì)于特定架構(gòu)領(lǐng)域的知識(shí)可以用來(lái)指導(dǎo)CEF工程實(shí)踐。例如，在Hyperledger Fabric(譯注：即超級(jí)賬本)，endorsement policies指導(dǎo)了共識(shí)的形成，所以不斷移除endorser直到到了endorsement規(guī)則支持的最小endorser數(shù)量可以暴露特定實(shí)現(xiàn)的風(fēng)險(xiǎn)。在Corda，移除一定比例的網(wǎng)絡(luò)公證人，將使網(wǎng)絡(luò)的一部分產(chǎn)生延遲，影響Corda的防火墻。會(huì)發(fā)現(xiàn)特定部署的脆弱點(diǎn)。

通過(guò)觀察在大規(guī)模分布式系統(tǒng)中的混沌工程實(shí)踐展示了它的前景和力量。其在航空測(cè)試，醫(yī)院系統(tǒng)的生產(chǎn)系統(tǒng)這種敏感應(yīng)用的實(shí)踐展示了它的實(shí)用性。

設(shè)計(jì)區(qū)塊鏈框架的實(shí)驗(yàn)需要一系列的框架的特殊知識(shí)作為原則提供給CEF，并且需要工作在不同層面的團(tuán)隊(duì)來(lái)隨著平臺(tái)增長(zhǎng)來(lái)一起增加在特定實(shí)現(xiàn)上的信心。

我們會(huì)在這個(gè)系列的下篇來(lái)將在Indy平臺(tái)的CEF實(shí)踐作為案例。這可以幫我們指導(dǎo)我們?cè)谔囟ǖ腄LT框架內(nèi)進(jìn)行CEF的實(shí)現(xiàn)。

微信公眾號(hào)「麥芽面包」，id「darkjune_think」
開(kāi)發(fā)者/科幻愛(ài)好者/硬核主機(jī)玩家/業(yè)余翻譯家/書(shū)蟲(chóng)
交流Email: zhukunrong@yeah.net