AWS云計(jì)算平臺(tái)工作使用中的心得,aws云計(jì)算實(shí)戰(zhàn)-ESG跨境

AWS云計(jì)算平臺(tái)工作使用中的心得,aws云計(jì)算實(shí)戰(zhàn)

AWS云計(jì)算平臺(tái)工作使用中的心得

筆者目前所在公司的海外業(yè)務(wù)平臺(tái)由于牽涉到多機(jī)房布點(diǎn)和成本的考慮，目前基本上采用的是AWS云計(jì)算平臺(tái)，產(chǎn)品線涉及到了EC2/EBS/S3/Redshift等，目前平臺(tái)已經(jīng)穩(wěn)定運(yùn)行幾年了，在使用過程還是有不少心得和感想的，特地做了些總結(jié)跟大家一起分享下，對(duì)AWS有興趣的同學(xué)也可以關(guān)注下。作為一個(gè)資深運(yùn)維，熟悉各種云計(jì)算平臺(tái)，但還是對(duì)AWS強(qiáng)大的控制臺(tái)功能還是很驚異的，控制臺(tái)提供的功能是非常強(qiáng)大的，小到系統(tǒng)的AMI鏡像備份恢復(fù)，用戶的IAM權(quán)限分配，然后Instance機(jī)器種類和外置磁盤EBS的選型，大到分布式S3的文件存儲(chǔ)功能，AWS強(qiáng)大的控制臺(tái)都提供了相應(yīng)的功能。如果不喜歡用圖形界面操作的話，喜歡自動(dòng)化運(yùn)維的同學(xué)，AWS也提供了強(qiáng)大的BOTO3接口（基于Python），同學(xué)們也可以利用Python腳本來進(jìn)行相關(guān)的服務(wù)器后臺(tái)程序開發(fā)工作。

注：通過適用于Python的AWS開發(fā)工具包boto3快速開始使用AWS。Boto3可以支持您輕松將Python應(yīng)用程序、庫(kù)或腳本與AWS服務(wù)進(jìn)行集成，包括Amazon S3、Amazon EC2和Amazon DynamoDB等。

另外，AWS控制臺(tái)有些功能是非常人性化的，比如我通過控制臺(tái)購(gòu)買了一年的c3.xlarge（4 vcpu+7.5內(nèi)存）預(yù)留實(shí)例（預(yù)留實(shí)例是一種比較節(jié)約的計(jì)費(fèi)方式，通常為以年為計(jì)費(fèi)單位，比單獨(dú)購(gòu)買一般要便宜35%左右），但在使用過程過程中，我發(fā)現(xiàn)業(yè)務(wù)量不需要c3.xlarge這樣高性能的機(jī)器，那我們可以通過修改預(yù)留實(shí)例的方式，將其分離成2臺(tái)性能稍弱的c3.large，這樣剝離出來的一臺(tái)c3.large機(jī)器就可以多出來跑別的業(yè)務(wù)了。

另外，AWS的產(chǎn)品線是非常豐富，通過控制臺(tái)我們就能看到，各種各樣的產(chǎn)品都在列表內(nèi)，大家可以根據(jù)工作需求來取舍。我們一般用得比較多的有EC2（AWS云主機(jī)）、Route53（DNS）、CDN、Elastic Load Balancing（AWS負(fù)載均衡）、S3/Glacier（云存儲(chǔ)）、數(shù)據(jù)庫(kù)產(chǎn)品有RDS或Redshift、NoSQL有DynamonDB、ElasticMapReduce（Hadoop計(jì)算框架）等等，AWS的產(chǎn)品線是非常豐富的，甚至可以說，我們工作中產(chǎn)生的業(yè)務(wù)需求，很有可能就能通過AWS的產(chǎn)品來實(shí)現(xiàn)。通過AWS的EMR服務(wù)來實(shí)現(xiàn)工作中的Hadoop/Spark來進(jìn)行海量離線業(yè)務(wù)日志的處理和分析，是一件非常容易和輕松的事情，事實(shí)上，這部分的工作是完全不需要運(yùn)維人員來參與的。

另外，事實(shí)上，AWS云計(jì)算平臺(tái)進(jìn)行彈性擴(kuò)容是一件非常容易和方便的事情，拿我們的業(yè)務(wù)平臺(tái)來說，在上線前期，由于宣傳及商務(wù)談判等原因，入口流量及用戶數(shù)都比較少，這個(gè)時(shí)候平臺(tái)很穩(wěn)定，整體系統(tǒng)負(fù)載及QPS都比較低，但隨著后期商業(yè)談判的成功，入口流量及用戶都越來越多，系統(tǒng)負(fù)載、QPS都偏高，機(jī)器還經(jīng)常出現(xiàn)了CPU利用率達(dá)到100%的情況。這個(gè)時(shí)候我們可以通過調(diào)用AWS API接口來實(shí)現(xiàn)彈性擴(kuò)容，包括主機(jī)的分配、流量的分配、IP的綁定、域名解析的配置，還有存儲(chǔ)服務(wù)等，這部分的工作如果做成自動(dòng)擴(kuò)容也是比較容易實(shí)現(xiàn)的，我們可以通過Ansible自動(dòng)化配置管理工具或Python語(yǔ)言自行開發(fā)。事實(shí)上，為了節(jié)約費(fèi)用，很多時(shí)候我們可以考慮開啟更便宜的Spot Instance（比Instance實(shí)例收費(fèi)便宜多了，但公網(wǎng)IP不固定，由于采用的是競(jìng)價(jià)模式，很容易被別人買走）。另外，后續(xù)的工作我們還是要在工作中考慮到，比如說某項(xiàng)業(yè)務(wù)量降下去以后，我們不再需要那么多機(jī)器了（AWS是以Instance實(shí)例實(shí)際使用的小時(shí)數(shù)來收費(fèi)的，我們關(guān)閉機(jī)器以后AWS就不再收費(fèi)了），我們應(yīng)該如何在不影響業(yè)務(wù)穩(wěn)定性的前提下來減少機(jī)器數(shù)量從而起到節(jié)約成本的作用呢，這些都需要我們?cè)趯?shí)際的開發(fā)工作中考慮到。

另外，在實(shí)際使用工作中我們也發(fā)現(xiàn)，AWS平臺(tái)目前也還是存著一些問題的，這些也應(yīng)該是我們?cè)谑褂眠^程注意的地方:

一、有段時(shí)間，美國(guó)西部的機(jī)器因?yàn)?a href="/platform/Amazon?ref=news">亞馬遜硬件升級(jí)的原因，不斷的要進(jìn)行業(yè)務(wù)遷移的工作，事實(shí)上如果是某個(gè)集群內(nèi)的機(jī)器的話倒沒什么影響，如果機(jī)器上面正跑著重要核心業(yè)務(wù)的話，對(duì)整體系統(tǒng)還是非常有影響的；

二、使用中有機(jī)器還是有重啟的情況，還發(fā)生過機(jī)器失聯(lián)的情況，當(dāng)然了這種情況并不多見，一年中我們也只發(fā)現(xiàn)了兩起，就是沒有任何郵件通知的情況下，機(jī)器發(fā)生了失聯(lián)情況；

三、亞馬遜自帶的監(jiān)控功能或產(chǎn)口還不是很強(qiáng)，所以我們還是需要自己配置nagios或zabbix監(jiān)控服務(wù)，并針對(duì)業(yè)務(wù)需求來開發(fā)插件；

四、預(yù)留實(shí)例的出售是一件比較麻煩的事情，比較好買，但感覺非常難出售，所以筆者每次購(gòu)買預(yù)留實(shí)例會(huì)非常小心謹(jǐn)慎。

五、AWS的帳單功能還是挺完善的，但也可能會(huì)產(chǎn)生誤收費(fèi)的情況，這個(gè)時(shí)候需要英語(yǔ)口語(yǔ)或郵件溝通，一般情況下AWS會(huì)退款的。

雖然AWS云計(jì)算平臺(tái)或多或少的存在些問題，但總體來說并不會(huì)影響我們業(yè)務(wù)系統(tǒng)的整體性能和穩(wěn)定，我們能夠在節(jié)約成本的前提下，能夠非常方便的進(jìn)行擴(kuò)容工作和Hadoop/Spark數(shù)據(jù)計(jì)算，在全球部署自己的數(shù)據(jù)中心，這些工作由于使用了AWS平臺(tái)感覺操作起來非常簡(jiǎn)單方便，感謝AWS提供了這么些偉大的產(chǎn)品，預(yù)祝其越做越好。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場(chǎng)。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請(qǐng)于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。