ANZ銀行如何自動(dòng)化并馴服了一批混亂的Unix服務(wù)器

該銀行被迫使其設(shè)置可以更容易地遵守澳大利亞銀行法規(guī)。該電子書(shū)基于最新的ZDNet / TechRepublic特色，探討了數(shù)據(jù)中心自動(dòng)化如何為新的敏捷性和數(shù)字化轉(zhuǎn)型提供動(dòng)力。澳大利亞銀行始終存在對(duì)合規(guī)性的需求，其范圍涉及組織的各個(gè)方面，從分類賬到費(fèi)用結(jié)構(gòu)，并包括支撐銀行運(yùn)營(yíng)的IT。最近在悉尼的Puppetize發(fā)表講話時(shí)，一對(duì)ANZ企業(yè)平臺(tái)高級(jí)顧問(wèn)Nathan Kroenert和Boyd Adamson詳細(xì)介紹了該銀行如何為其擁有7,000多個(gè)基于Unix的系統(tǒng)提供服務(wù) - 被描述為處于“各種各樣的狀態(tài)”并運(yùn)行Solaris，AIX或Linux風(fēng)格 - 受控制。“我們?cè)诓煌膰?guó)家/地區(qū)擁有大約22個(gè)監(jiān)管機(jī)構(gòu)，監(jiān)督正在發(fā)生的事情，他們將擁有自己的規(guī)則，包括如何配置和需求等等，”亞當(dāng)森說(shuō)。所以所有這些都必須精簡(jiǎn)到基本上如何配置盒子或盒子上的某些要求。所以其中一些包括需要安裝或未安裝的軟件包，必須運(yùn)行或不運(yùn)行的服務(wù)，各個(gè)領(lǐng)域的各種安全設(shè)置。“與任何大型組織一樣，希望引入新理智定義的團(tuán)隊(duì)必須與傳統(tǒng)和技術(shù)債務(wù)搏斗。木偶戲Kroenert描述了團(tuán)隊(duì)如何利用Puppet作為其自動(dòng)化和編排策略的核心支柱，并開(kāi)始使用非常廣泛的規(guī)則，例如不允許用戶將某些文件放在某些地方。“隨著時(shí)間的推移，你會(huì)有項(xiàng)目出現(xiàn)并說(shuō)：'嘿，我們需要這個(gè)文件'。所以有一大堆 - 處理這個(gè)問(wèn)題的人力成本，即：'但我們沒(méi)有要做到這一點(diǎn)，你要讓我這樣做!'，“他說(shuō)。“嗯，因?yàn)槟阍?jīng)捅過(guò)某人并不意味著你應(yīng)該繼續(xù)刺傷他們，”Kroenert解釋道。在遷移到Puppet之前，ANZ使用了一種人工密集的方法來(lái)確定合規(guī)性，其中包括按需運(yùn)行的BMC BladeLogic腳本，并為某人進(jìn)行分析報(bào)告，隨后提供了因觀察到的任何違規(guī)行為而導(dǎo)致的故障單。通常情況下，門票是由引入不合規(guī)的團(tuán)隊(duì)修復(fù)的，僅僅因?yàn)檫@是一種更簡(jiǎn)單的做事方式。“這些可怕的，糟糕的窮人不得不登錄箱子，實(shí)際登錄箱子來(lái)修理東西 - 他們登錄了40次，以便在40個(gè)主機(jī)上修復(fù)同樣的問(wèn)題，”Kroenert說(shuō)。“那不太理想，更糟糕的是......我問(wèn)過(guò)那些做錯(cuò)事的人，但他們做錯(cuò)了，因?yàn)樗陂_(kāi)發(fā)周期的早期解決了問(wèn)題，所以實(shí)際上也在這里和那里引起了一些摩擦。“根據(jù)這對(duì)，該銀行是合規(guī)的，但它不具有可擴(kuò)展性或直接性。關(guān)于銀行是否可以證明合規(guī)的問(wèn)題 - “地獄沒(méi)有”是Kroenert的回應(yīng)。他說(shuō)：“我不想和審計(jì)員一起坐下六個(gè)月，向他們解釋我們是如何從這個(gè)系統(tǒng)轉(zhuǎn)到這種合規(guī)聲明的。”“這是一次非常非常困難的討論，并且讓他們?cè)谡麄€(gè)討論中保持背景。”“你要做的最后一件事就是證明你不知道它是如何運(yùn)作的，如果我說(shuō)：'好吧，這個(gè)團(tuán)隊(duì)將它傳遞給這個(gè)團(tuán)隊(duì)，這個(gè)團(tuán)隊(duì)，傳遞給這個(gè)團(tuán)隊(duì)'，這就變成了我們作為一個(gè)組織要解決的問(wèn)題確實(shí)非常困難。“因此決定引入Puppet并從能夠報(bào)告合規(guī)性到能夠強(qiáng)制執(zhí)行合規(guī)性。但該團(tuán)隊(duì)無(wú)法站起來(lái)建立全新的基礎(chǔ)架構(gòu)，這是“正確的方式”，可以輕松實(shí)現(xiàn)部署。“我們擁有7,000多個(gè)主機(jī)，在這些主機(jī)上有6,999種不同的配置，因?yàn)檫@就是它們建造時(shí)所需的業(yè)務(wù)。所以我們進(jìn)入了非常多的棕色區(qū)域，”Kroenert說(shuō)。我們必須處理我們作為第一步所做的事情，這有可能使它成為最困難的方式，但那就是我們所處的位置，”他補(bǔ)充道。使難度更加復(fù)雜的是組織沒(méi)有所有盒子的中央列表，并且需要在不同的安全區(qū)域中安裝Puppet主站。但是，一旦發(fā)現(xiàn)系統(tǒng)的全部范圍，并且代理被推出，下一步就是在物理和虛擬硬件之間分布的7,000臺(tái)服務(wù)器上解決NTP或SSHD配置等低成本問(wèn)題。考慮到所涉及的數(shù)量，保證會(huì)出現(xiàn)某種破損。“當(dāng)我們快速行動(dòng)的時(shí)候，我們必須做好準(zhǔn)備，不時(shí)地我們要修剪一條排水溝。我們?cè)谶@里和那里做過(guò)，有些情況我們會(huì)說(shuō)，'好吧，好吧，我們剛推出它。它看起來(lái)很棒。我們做了一堆測(cè)試。我們?cè)谒械男〗鸾z雀環(huán)境中進(jìn)行了測(cè)試，它看起來(lái)很棒'，“Kroenert說(shuō)。“但實(shí)際情況是，一旦你打了5,500個(gè)盒子，這些盒子都是以不同方式構(gòu)建的，有些東西可能會(huì)破壞，我們有[管理層]的支持說(shuō)：'看，我們真的很抱歉。我們把它推到了5,500我們打破了四個(gè)，但看看我們正在采取的前進(jìn)一步。““只要我們知道我們已經(jīng)完成它并且我們可以把它放回去 - 如果我們用Puppet打破它，我們就可以用Puppet修復(fù)它，”Adamson補(bǔ)充道。“我們沒(méi)事。”

部署并非沒(méi)有后退，因?yàn)閳F(tuán)隊(duì)不得不接受自動(dòng)化游戲的想法，而且由于ANZ的環(huán)境讓Puppet登錄到syslog，Puppet經(jīng)常是鞭打男孩。因此，在日志中通常發(fā)生錯(cuò)誤之前，可能會(huì)有一個(gè)Puppet條目。我認(rèn)為我最喜歡的是最后一條日志信息是Puppet，但它是兩周之前，”亞當(dāng)森說(shuō)。Kroenert詳細(xì)介紹了操作人員如何嘗試關(guān)閉Puppet，使用該服務(wù)或刪除ruby或其他二進(jìn)制文件來(lái)阻止它運(yùn)行，徒勞地試圖修復(fù)他們?cè)噲D處理的問(wèn)題。實(shí)際上，99.9% - 而且可能高于那個(gè) - 根本不是Puppet，”Kroenert說(shuō)。“但它讓組織的其他部分空間可以回答說(shuō)'哦不，這不是我們'。”該銀行知道它已達(dá)到目標(biāo)，因?yàn)樗軌蛳蚱鋬?nèi)部審計(jì)團(tuán)隊(duì)提供一個(gè)事實(shí)來(lái)源的儀表板，詳細(xì)說(shuō)明每個(gè)主機(jī)的合規(guī)性。我們的內(nèi)部審計(jì)人員可以將其視為一個(gè)門戶，他們可以說(shuō)：'嘿，我們需要轉(zhuǎn)換這個(gè)應(yīng)用程序集'。他們看看主機(jī)。他們說(shuō)：'嘿，他們都是綠色的，那個(gè)看起來(lái)很棒'。他們很樂(lè)意直接推動(dòng)它，“Kroenert說(shuō)。“沒(méi)有討論。沒(méi)有任何問(wèn)題。沒(méi)有任何證據(jù)，因?yàn)樗麄円呀?jīng)查看了支持這一點(diǎn)的所有代碼。他們知道，如果我們說(shuō)它符合要求，它實(shí)際上已經(jīng)符合要求。”“所以對(duì)我們來(lái)說(shuō)，這已經(jīng)消除了大量的工時(shí) - 我會(huì)說(shuō)每年需要花費(fèi)數(shù)千小時(shí)的時(shí)間進(jìn)行討論。所以對(duì)我們來(lái)說(shuō)，這是合規(guī)方面的巨大勝利。”在轉(zhuǎn)向Puppet，并從單個(gè)主設(shè)備控制超過(guò)6,000個(gè)節(jié)點(diǎn)時(shí)，該對(duì)建議將業(yè)務(wù)流程主機(jī)部署到具有大量CPU物理內(nèi)核和大量?jī)?nèi)存的物理硬件上。“很多CPU和真正的CPU - 不是VM CPU，不是線程，不是超線程線程，”Kroenert解釋說(shuō)。“當(dāng)你在超線程環(huán)境中進(jìn)行交易時(shí)，Java會(huì)一直打擊對(duì)方的緩存。”“確保Java擁有足夠的內(nèi)存。我們將其擴(kuò)展起來(lái)，上升和上升，我認(rèn)為現(xiàn)在我們的運(yùn)行速度大約為64和96GB，”Kroenert說(shuō)。