快速溫變濕熱試驗(yàn)箱 技術(shù)規(guī)格：

 人們對(duì)于一個(gè)東西是否可靠，都有一個(gè)直觀的想法。人們對(duì)可靠軟件的典型期望包括：

 •應(yīng)用程序表現(xiàn)出用戶所期望的功能。

•允許用戶犯錯(cuò)，允許用戶以出乎意料的方式使用軟件。

•在預(yù)期的負(fù)載和數(shù)據(jù)量下，性能滿足要求。

•系統(tǒng)能防止未經(jīng)授權(quán)的訪問和濫用。

如果所有這些在一起意味著“正確工作”，那么可以把可靠性粗略理解為“即使出現(xiàn)問題，也能繼續(xù)正確工作”。

造成錯(cuò)誤的原因叫做故障（fault），能預(yù)料并應(yīng)對(duì)故障的系統(tǒng)特性可稱為容錯(cuò)（fault-tolerant）或韌性（resilient）。“容錯(cuò)”一詞可能會(huì)產(chǎn)生誤導(dǎo)，因?yàn)樗凳局到y(tǒng)可以容忍所有可能的錯(cuò)誤，但在實(shí)際中這是不可能的。比方說，如果整個(gè)地球（及其上的所有服務(wù)器）都被黑洞吞噬了，想要容忍這種錯(cuò)誤，需要把網(wǎng)絡(luò)托管到太空中——這種預(yù)算能不能批準(zhǔn)就祝你好運(yùn)了。所以在討論容錯(cuò)時(shí)，只有談?wù)撎囟愋偷腻e(cuò)誤才有意義。

注意故障（fault）不同于失效（failure）。故障通常定義為系統(tǒng)的一部分狀態(tài)偏離其標(biāo)準(zhǔn)，而失效則是系統(tǒng)作為一個(gè)整體停止向用戶提供服務(wù)。故障的概率不可能降到零，因此*好設(shè)計(jì)容錯(cuò)機(jī)制以防因故障而導(dǎo)致失效。本書中我們將介紹幾種用不可靠的部件構(gòu)建可靠系統(tǒng)的技術(shù)。

反直覺的是，在這類容錯(cuò)系統(tǒng)中，通過故意觸發(fā)來提高故障率是有意義的，例如：在沒有警告的情況下隨機(jī)地殺死單個(gè)進(jìn)程。許多高危漏洞實(shí)際上是由糟糕的錯(cuò)誤處理導(dǎo)致的，因此我們可以通過故意引發(fā)故障來確保容錯(cuò)機(jī)制不斷運(yùn)行并接受考驗(yàn)，從而提高故障自然發(fā)生時(shí)系統(tǒng)能正確處理的信心。Netflix公司的Chaos Monkey 就是這種方法的一個(gè)例子。

盡管比起阻止錯(cuò)誤（prevent error），我們通常更傾向于容忍錯(cuò)誤。但也有預(yù)防勝于**的情況（比如不存在**方法時(shí)）。安全問題就屬于這種情況。例如，如果攻擊者破壞了系統(tǒng)，并獲取了敏感數(shù)據(jù)，這種事是撤銷不了的。但本書主要討論的是可以恢復(fù)的故障種類，正如下面幾節(jié)所述。

硬件故障

當(dāng)想到系統(tǒng)失效的原因時(shí)，硬件故障（hardware faults）總會(huì)**個(gè)進(jìn)入腦海。硬盤崩潰、內(nèi)存出錯(cuò)、機(jī)房斷電、有人拔錯(cuò)網(wǎng)線……任何與大型數(shù)據(jù)中心打過交道的人都會(huì)告訴你：一旦你擁有很多機(jī)器，這些事情總會(huì)發(fā)生！

據(jù)報(bào)道稱，硬盤的平均*時(shí)間（MTTF, mean time to failure）約為10到50年。因此從數(shù)學(xué)期望上講，在擁有10000個(gè)磁盤的存儲(chǔ)集群上，平均每天會(huì)有1個(gè)磁盤出故障。

為了減少系統(tǒng)的故障率，**反應(yīng)通常都是增加單個(gè)硬件的冗余度，例如：磁盤可以組建RAID，服務(wù)器可能有雙路電源和熱插拔CPU，數(shù)據(jù)中心可能有電池和柴油發(fā)電機(jī)作為后備電源，某個(gè)組件掛掉時(shí)冗余組件可以立刻接管。這種方法雖然不能*防止由硬件問題導(dǎo)致的系統(tǒng)失效，但它簡單易懂，通常也足以讓機(jī)器不間斷運(yùn)行很多年。

直到*近，硬件冗余對(duì)于大多數(shù)應(yīng)用來說已經(jīng)足夠了，它使單臺(tái)機(jī)器*失效變得相當(dāng)罕見。只要你能快速地把備份恢復(fù)到新機(jī)器上，故障停機(jī)時(shí)間對(duì)大多數(shù)應(yīng)用而言都算不上災(zāi)難性的。只有少量高可用性至關(guān)重要的應(yīng)用才會(huì)要求有多套硬件冗余。

但是隨著數(shù)據(jù)量和應(yīng)用計(jì)算需求的增加，越來越多的應(yīng)用開始大量使用機(jī)器，這會(huì)相應(yīng)地增加硬件故障率。此外在一些云平臺(tái)（如亞馬遜網(wǎng)絡(luò)服務(wù)（AWS, Amazon Web Services））中，虛擬機(jī)實(shí)例不可用卻沒有任何警告也是很常見的，因?yàn)樵破脚_(tái)的設(shè)計(jì)就是優(yōu)先考慮靈活性（flexibility）和彈性（elasticity），而不是單機(jī)可靠性。

如果在硬件冗余的基礎(chǔ)上進(jìn)一步引入軟件容錯(cuò)機(jī)制，那么系統(tǒng)在容忍整個(gè)（單臺(tái)）機(jī)器故障的道路上就更進(jìn)一步了。這樣的系統(tǒng)也有運(yùn)維上的便利，例如：如果需要重啟機(jī)器（例如應(yīng)用操作系統(tǒng)安全補(bǔ)丁），單服務(wù)器系統(tǒng)就需要計(jì)劃停機(jī)。而允許機(jī)器失效的系統(tǒng)則可以一次修復(fù)一個(gè)節(jié)點(diǎn)，無需整個(gè)系統(tǒng)停機(jī)。

軟件錯(cuò)誤

我們通常認(rèn)為硬件故障是隨機(jī)的、相互獨(dú)立的：一臺(tái)機(jī)器的磁盤失效并不意味著另一臺(tái)機(jī)器的磁盤也會(huì)失效。大量硬件組件不可能同時(shí)發(fā)生故障，除非它們存在比較弱的相關(guān)性（同樣的原因?qū)е玛P(guān)聯(lián)性錯(cuò)誤，例如服務(wù)器機(jī)架的溫度）。

另一類錯(cuò)誤是內(nèi)部的系統(tǒng)性錯(cuò)誤（systematic error）。這類錯(cuò)誤難以預(yù)料，而且因?yàn)槭强绻?jié)點(diǎn)相關(guān)的，所以比起不相關(guān)的硬件故障往往可能造成更多的系統(tǒng)失效。例子包括：

•接受特定的錯(cuò)誤輸入，便導(dǎo)致所有應(yīng)用服務(wù)器實(shí)例崩潰的BUG。例如2012年6月30日的閏秒，由于Linux內(nèi)核中的一個(gè)錯(cuò)誤，許多應(yīng)用同時(shí)掛掉了。

•失控進(jìn)程會(huì)占用一些共享資源，包括CPU時(shí)間、內(nèi)存、磁盤空間或網(wǎng)絡(luò)帶寬。

•系統(tǒng)依賴的服務(wù)變慢，沒有響應(yīng)，或者開始返回錯(cuò)誤的響應(yīng)。

•級(jí)聯(lián)故障，一個(gè)組件中的小故障觸發(fā)另一個(gè)組件中的故障，進(jìn)而觸發(fā)更多的故障。

導(dǎo)致這類軟件故障的BUG通常會(huì)潛伏很長時(shí)間，直到被異常情況觸發(fā)為止。這種情況意味著軟件對(duì)其環(huán)境做出了某種假設(shè)——雖然這種假設(shè)通常來說是正確的，但由于某種原因*后不再成立了。

雖然軟件中的系統(tǒng)性故障沒有*藥，但我們還是有很多小辦法，例如：仔細(xì)考慮系統(tǒng)中的假設(shè)和交互；*的測試；進(jìn)程隔離；允許進(jìn)程崩潰并重啟；測量、監(jiān)控并分析生產(chǎn)環(huán)境中的系統(tǒng)行為。如果系統(tǒng)能夠提供一些保證（例如在一個(gè)消息隊(duì)列中，進(jìn)入與發(fā)出的消息數(shù)量相等），那么系統(tǒng)就可以在運(yùn)行時(shí)不斷自檢，并在出現(xiàn)差異（discrepancy）時(shí)報(bào)警。

人為錯(cuò)誤

設(shè)計(jì)并構(gòu)建了軟件系統(tǒng)的工程師是人類，維持系統(tǒng)運(yùn)行的運(yùn)維也是人類。即使他們懷有*大的善意，人類也是不可靠的。舉個(gè)例子，一項(xiàng)關(guān)于大型互聯(lián)網(wǎng)服務(wù)的研究發(fā)現(xiàn)，運(yùn)維配置錯(cuò)誤是導(dǎo)致服務(wù)中斷的首要原因，而硬件故障（服務(wù)器或網(wǎng)絡(luò)）僅導(dǎo)致了10-25％的服務(wù)中斷。

盡管人類不可靠，但怎么做才能讓系統(tǒng)變得可靠？*好的系統(tǒng)會(huì)組合使用以下幾種辦法：

•以*小化犯錯(cuò)機(jī)會(huì)的方式設(shè)計(jì)系統(tǒng)。例如，精心設(shè)計(jì)的抽象、API和管理后臺(tái)使做對(duì)事情更容易，搞砸事情更困難。但如果接口限制太多，人們就會(huì)忽略它們的好處而想辦法繞開。很難正確把握這種微妙的平衡。

•將人們*容易犯錯(cuò)的地方與可能導(dǎo)致失效的地方解耦（decouple）。特別是提供一個(gè)功能齊全的非生產(chǎn)環(huán)境沙箱（sandbox），使人們可以在不影響真實(shí)用戶的情況下，使用真實(shí)數(shù)據(jù)安全地探索和實(shí)驗(yàn)。

•在各個(gè)層次進(jìn)行*的測試，從單元測試、全系統(tǒng)集成測試到手動(dòng)測試。自動(dòng)化測試易于理解，已經(jīng)被廣泛使用，特別適合用來覆蓋正常情況中少見的邊緣場景（corner case）。

•允許從人為錯(cuò)誤中簡單快速地恢復(fù)，以*大限度地減少失效情況帶來的影響。 例如，快速回滾配置變更，分批發(fā)布新代碼（以便任何意外錯(cuò)誤只影響一小部分用戶），并提供數(shù)據(jù)重算工具（以備舊的計(jì)算出錯(cuò)）。

•配置詳細(xì)和明確的監(jiān)控，比如性能指標(biāo)和錯(cuò)誤率。 在其他工程學(xué)科中這指的是遙測（telemetry）。 （一旦火箭離開了地面，遙測技術(shù)對(duì)于跟蹤發(fā)生的事情和理解失敗是至關(guān)重要的。）監(jiān)控可以向我們發(fā)出預(yù)警信號(hào)，并允許我們檢查是否有任何地方違反了假設(shè)和約束。當(dāng)出現(xiàn)問題時(shí)，指標(biāo)數(shù)據(jù)對(duì)于問題診斷是非常寶貴的。

•良好的管理實(shí)踐與充分的培訓(xùn)——一個(gè)復(fù)雜而重要的方面，但超出了本書的范圍。

可靠性有多重要？

可靠性不僅僅是針對(duì)核電站和空中交通管制軟件而言，我們也期望更多平凡的應(yīng)用能可靠地運(yùn)行。商務(wù)應(yīng)用中的錯(cuò)誤會(huì)導(dǎo)致生產(chǎn)力損失（也許數(shù)據(jù)報(bào)告不完整還會(huì)有法律風(fēng)險(xiǎn)），而電商網(wǎng)站的中斷則可能會(huì)導(dǎo)致收入和聲譽(yù)的巨大損失。

即使在“非關(guān)鍵”應(yīng)用中，我們也對(duì)用戶負(fù)有責(zé)任。試想一位家長把所有的照片和孩子的視頻儲(chǔ)存在你的照片應(yīng)用里。如果數(shù)據(jù)庫突然損壞，他們會(huì)感覺如何？他們可能會(huì)知道如何從備份恢復(fù)嗎？

在某些情況下，我們可能會(huì)選擇犧牲可靠性來降低開發(fā)成本（例如為未經(jīng)證實(shí)的市場開發(fā)產(chǎn)品原型）或運(yùn)營成本（例如利潤率極低的服務(wù)），但我們偷工減料時(shí)，應(yīng)該清楚意識(shí)到自己在做什么。