AWS存儲家族大合集,aws存儲技術(shù)-ESG跨境

AWS存儲家族大合集,aws存儲技術(shù)

AWS存儲家族大合集

大部分希望遷移到云端的公司，都需要在開始遷移時首先評估現(xiàn)有的存儲基礎(chǔ)結(jié)構(gòu)。為了更有效地評估現(xiàn)有存儲基礎(chǔ)結(jié)構(gòu)，有必要了解如何將現(xiàn)有存儲設(shè)備映射為不同的Amazon Web Services(AWS)存儲服務(wù)。為此必須花費時間明確目前的數(shù)據(jù)是如何存儲，以及存儲在哪里，隨后才能以此為依據(jù)將現(xiàn)有工作負載和存儲基礎(chǔ)結(jié)構(gòu)遷移至AWS存儲服務(wù)。

本文將對比AWS存儲和本地存儲的存儲模式，以幫助客戶將現(xiàn)有模式與AWS存儲服務(wù)豐富的產(chǎn)品組合相互匹配。此外本文還將提供存儲模式?jīng)Q策矩陣，借此加快多樣化的應(yīng)用程序和工作負載需求遷移到AWS時的決策過程。

為何遷移到云端？

AWS在幫助企業(yè)遷移上云這方面已經(jīng)積累了超過14年的經(jīng)驗。將存儲工作負載遷移到云端一直是CIO們解決以下優(yōu)先戰(zhàn)略要務(wù)的主要方式之一：

·提高業(yè)務(wù)敏捷度

·加快創(chuàng)新速度

·增強安全性

·降低成本

遷移上云的企業(yè)可以變得更敏捷，因為他們可以靈活地擴展各類資源，以滿足獨特的業(yè)務(wù)需求。借助大規(guī)模分析能力和機器學(xué)習技術(shù)，我們可以消除數(shù)據(jù)孤島并從數(shù)據(jù)中獲得更多價值，借此加速現(xiàn)代化革新之旅。在消除了數(shù)據(jù)孤島并應(yīng)用更高級的加密控制能力后，企業(yè)可以在發(fā)現(xiàn)更多的數(shù)據(jù)價值的同時改善數(shù)據(jù)的安全性。

AWS用戶可以直接獲得專為對安全性要求最嚴格的企業(yè)所打造的全部控制、工具以及認證。最后，由于可以獲得更靈活的購買模式，避免存儲設(shè)備過度配置，設(shè)備升級換代以及維護存儲基礎(chǔ)架構(gòu)的支出，企業(yè)還可以進一步降低成本。相比本地部署模式，云存儲提供了數(shù)不勝數(shù)的價值，并能有效解決CIO最關(guān)注的問題。

圖1：存儲利用率對比

圖1對比了本地存儲系統(tǒng)以及使用AWS存儲服務(wù)在資本投入方面的需求，使用AWS服務(wù)時，客戶只需要為實際使用的資源付費。在本例中，客戶需要購買1PB原始存儲容量并為此付費。但在組建RAID陣列并格式化后，排除掉文件系統(tǒng)本身的開銷并為未來增長留出余量后，數(shù)據(jù)實際占用的容量僅為400TB。對于大部分AWS存儲服務(wù)（例如Amazon EFS和Amazon S3），客戶只需要為自己實際使用的400 TB容量付費；或者（如果使用Amazon EBS和Amazon FSx for Windows File Server，則）只需要為實際分配的600TB容量付費。

典型的本地存儲模式

典型的本地存儲模式包括光纖通道FC SAN存儲、iSCSI SAN存儲、網(wǎng)絡(luò)附加存儲（NAS）以及對象存儲。本節(jié)將簡要介紹不同的本地數(shù)據(jù)存儲技術(shù)，并分析客戶在滿足應(yīng)用程序和用戶數(shù)據(jù)的存儲需求時所創(chuàng)建的工作負載模式

·光纖通道（FC）SAN存儲

SAN是一種存儲網(wǎng)絡(luò)技術(shù)，可通過專用高速光纖通道網(wǎng)絡(luò)共享塊存儲資源。此外，光纖通道協(xié)議（FCP）是SCSI協(xié)議在光纖通道網(wǎng)絡(luò)上的映射。最重要的是，SCSI命令和數(shù)據(jù)塊會封裝為FC幀，并通過光纖網(wǎng)絡(luò)/設(shè)施進行傳輸。通常來說，使用FC SAN的應(yīng)用程序包括ERP、CRM、SAP、SQL、Oracle、DB2、MSSQL等。

·iSCSI SAN存儲

iSCSI則是一種可以通過IP網(wǎng)絡(luò)共享存儲資源的存儲網(wǎng)絡(luò)技術(shù)。通常來說，通過iSCSI SAN共享的存儲資源往往是磁盤資源，不過iSCSI是SCSI協(xié)議在TCP/IP上的映射。

SCSI協(xié)議還可以通過類似的方式映射至其他傳輸機制，例如光纖通道FC，因此理論上，任何SCSI設(shè)備都可以通過iSCSI SAN共享。通常來說，使用FC SAN的應(yīng)用程序也可以使用iSCSI，只不過此時會使用IP網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)進行數(shù)據(jù)傳輸（例如ERP、CRM、SAP、SQL、Oracle等）。

·網(wǎng)絡(luò)附加存儲（NAS）

NAS文件系統(tǒng)是一種共享的文件存儲資源，通常代表了非結(jié)構(gòu)化數(shù)據(jù)或文件存儲。對于Linux工作負載，這些文件系統(tǒng)通常會使用諸如Network File Storage（NFS）等協(xié)議；對于Windows工作負載的數(shù)據(jù)共享，這些文件系統(tǒng)往往會使用Server Message Block（SMB）或Common Internet File System（CIFS）協(xié)議。NAS存儲通常被用于存儲諸如共享文件夾以及文檔庫等可供用戶和應(yīng)用程序訪問的文件數(shù)據(jù)。

根據(jù)SNIA.org（存儲網(wǎng)絡(luò)行業(yè)聯(lián)盟）的介紹：

“NAS代表連接到網(wǎng)絡(luò)，為計算機系統(tǒng)提供文件訪問服務(wù)的存儲設(shè)備?！贝祟怤AS設(shè)備通常會使用元數(shù)據(jù)和用于存儲數(shù)據(jù)的文件/文件夾層次結(jié)構(gòu)來實現(xiàn)文件服務(wù)。NAS客戶端可使用標準化的協(xié)議（如NFS或SMB/CIFS）訪問NAS設(shè)備所存儲的數(shù)據(jù)。企業(yè)可以將NAS設(shè)備作為一種高效、低成本、可擴展的存儲解決方案。NAS存儲主要可用于支撐郵件系統(tǒng)、財務(wù)數(shù)據(jù)庫、薪酬系統(tǒng)、視頻錄制和編輯、數(shù)據(jù)日志、業(yè)務(wù)分析等應(yīng)用。

對象存儲

對象存儲可供用戶以原生格式存儲數(shù)據(jù)，因此任何類型的數(shù)據(jù)都可存儲在對象存儲內(nèi)。對象通?？赏ㄟ^一個很長（如64位）的唯一標識符加以區(qū)分，該標識符是由對象內(nèi)容派生并附加某種哈希機制得到的。通常來說，對象會保存到一個單一的大型平面名稱空間中，不具備傳統(tǒng)文件系統(tǒng)那樣的層次結(jié)構(gòu)或樹狀結(jié)構(gòu)。這種單一的大型平面的名稱空間使得對象存儲系統(tǒng)與生俱來地具備了極大的可擴展性。對象存儲設(shè)備（OSD）可通過諸如REST、SOAP和XAM等API操作訪問。

根據(jù)SNIA.org的介紹：

“對象存儲是在磁盤上組織數(shù)據(jù)的第三種主要方式。對象可通過對象ID或鍵值進行尋址，而不是按照字節(jié)組織成文件名進行尋址，或組織為塊并通過塊編號尋址。我們可以通過對象ID（也可以使用密鑰）訪問指定的對象，隨后即可獲得返回的數(shù)據(jù)。這些數(shù)據(jù)長度任意，可以是零字節(jié)，或者極大的字節(jié)數(shù)。”

圖2：本地存儲決策矩陣

圖2展示了本地用戶和應(yīng)用程序訪問并連接數(shù)據(jù)存儲的不同方式。在上文列舉的例子中，應(yīng)用程序可通過受支持的協(xié)議使用SAN、NAS或?qū)ο蟠鎯?。但在性能、安全性和可擴展性方面，應(yīng)用程序可支持的訪問協(xié)議將成為決定在后端使用哪種存儲類型（SAN、NAS、對象）的關(guān)鍵，因為每種存儲訪問協(xié)議都有各自的優(yōu)勢與局限。

AWS存儲服務(wù)模式

本節(jié)將簡要介紹主要的AWS存儲服務(wù)，以及這些存儲服務(wù)如何替代部署在客戶本地數(shù)據(jù)中心的存儲設(shè)備。

·Amazon Elastic Block Store（Amazon EBS）

Amazon EBS是一種易于使用的高性能塊存儲服務(wù)。Amazon EBS專為Amazon EC2中運行的任意規(guī)模吞吐率密集型和事務(wù)密集型工作負載設(shè)計。關(guān)系和非關(guān)系數(shù)據(jù)庫，企業(yè)應(yīng)用程序，容器化應(yīng)用程序，大數(shù)據(jù)分析引擎，文件系統(tǒng)和媒體工作流等各種工作負載已廣泛部署在Amazon EBS上。

Amazon EBS適用于原本在本地環(huán)境使用iSCSI或FC SAN存儲陣列的應(yīng)用程序工作負載。

·Amazon Elastic File System（Amazon EFS）

Amazon EFS提供了一種簡單、可擴展、完全托管的彈性NFS文件系統(tǒng)，可供AWS云服務(wù)和本地資源使用。在設(shè)計上，該服務(wù)可在不影響應(yīng)用程序運行的前提下按需擴展至PB級規(guī)模，可隨著文件的添加和移除自動擴展或收縮，用戶無需為了適應(yīng)未來增長而預(yù)配并管理容量。Amazon EFS是一種區(qū)域性服務(wù)，可提供個位數(shù)毫秒級別的延遲，同時在至少三個可用區(qū)中存儲數(shù)據(jù)，其持久性設(shè)計為99.999999999％（11個9）。

Amazon EFS適用于原本在本地環(huán)境使用基于NFS協(xié)議的NAS存儲陣列的應(yīng)用程序和用戶工作負載。

·Amazon FSx for Windows File Server

重要通知：Amazon FSx for Windows File Server及Amazon FSx for Lustre現(xiàn)已在由光環(huán)新網(wǎng)運營的Amazon Web Services(AWS)中國（北京）區(qū)域和西云數(shù)據(jù)運營的AWS中國（寧夏）區(qū)域推出。

關(guān)于Amazon FSx新服務(wù)的更多資訊，推薦大家參閱以下內(nèi)容：

·還在煩惱如何部署文件存儲？瞧，您的高性能存儲神器已上線！

Amazon FSx for Windows File Server提供了完全托管的高可靠、可擴展文件存儲，可通過符合行業(yè)標準的SMB協(xié)議訪問。該服務(wù)基于Windows Server構(gòu)建，提供了豐富的管理功能，例如用戶配額、最終用戶文件還原以及與Microsoft Active Directory的集成。該服務(wù)提供了單一AZ和多AZ部署選項、完整的托管備份，以及對傳輸中和存儲后的數(shù)據(jù)進行加密的能力。Amazon FSx文件存儲可通過Windows、Linux和macOS計算實例以及運行在AWS或本地的設(shè)備訪問。用戶可以使用SSD和HDD存儲選件來優(yōu)化成本和性能，以滿足工作負載需求。

圖3：Amazon FSx for Windows File Server功能

圖3著重展示了FSx for Windows File Server的功能，及其對各種協(xié)議、操作系統(tǒng)、計算、網(wǎng)絡(luò)、可用性、持久性、備份、性能、可擴展性、成本優(yōu)化、安全性以及合規(guī)性等方面的支持情況。Amazon FSx for Windows File Server適用于原本在本地環(huán)境使用基于CIFS/SMB協(xié)議的NAS存儲陣列的應(yīng)用程序和用戶工作負載。

·Amazon Simple Storage Service（Amazon S3）

Amazon S3是一種對象存儲服務(wù)，提供了業(yè)內(nèi)領(lǐng)先的可擴展性、數(shù)據(jù)可用性、安全性以及性能。這些能力使得客戶能夠存儲和保護任意數(shù)量的數(shù)據(jù)，并將數(shù)據(jù)用于各種類型的用途，如網(wǎng)站、移動應(yīng)用程序、備份和還原、歸檔、企業(yè)應(yīng)用程序、IoT設(shè)備，以及大數(shù)據(jù)分析等。Amazon S3提供了易于使用的管理功能，用戶可以借此整理自己的數(shù)據(jù)，并配置可細化調(diào)整的訪問控制機制，以滿足特定的業(yè)務(wù)、組織或合規(guī)要求。Amazon S3的設(shè)計持久性為99.999999999％（11個9），目前已被全球大量企業(yè)的數(shù)以百萬計企業(yè)應(yīng)用程序所使用。

Amazon S3針對不同用例提供了豐富的存儲類。例如針對頻繁訪問數(shù)據(jù)的常規(guī)用途存儲所提供的S3 Standard；針對訪問模式未知或頻繁變化的數(shù)據(jù)所提供的S3 IntelligentTiering；為需要長期保存，需要輕松重建但訪問頻率較低的數(shù)據(jù)所提供的S3 StandardInfrequent Access（S3 StandardIA）和S3 One ZoneInfrequent Access（S3 One ZoneIA）；以及為長期歸檔和數(shù)字化保留所提供的Amazon S3 Glacier和Amazon S3 Glacier Deep Archive。Amazon S3還提供了數(shù)據(jù)全生命周期管理功能。在設(shè)置S3生命周期策略后，數(shù)據(jù)即可被自動轉(zhuǎn)移至不同的存儲類，而這一過程中完全不需要對應(yīng)用程序進行任何改動。

Amazon S3適用于基于本地對象存儲和很多基于文件存儲陣列構(gòu)建的應(yīng)用程序和用戶工作負載。

圖4：AWS存儲模式?jīng)Q策矩陣

圖4展示了已經(jīng)遷移至AWS，或云原生應(yīng)用程序的存儲決策矩陣。在該決策矩陣中，工作負載對存儲訪問協(xié)議、性能以及可擴展性的要求扮演了重要角色。此外，對于本地應(yīng)用程序，大部分AWS存儲服務(wù)都可在本地環(huán)境通過低延遲AWS Direct Connect或VPN連接的方式訪問。

數(shù)據(jù)存儲遷移和混合云存儲訪問

AWS用戶可通過多種選項將本地數(shù)據(jù)存儲遷移至AWS。下文將介紹通過AWS DataSync進行的在線遷移，以及通過AWS Snow Family服務(wù)進行的離線存儲遷移。

·適用于在線存儲遷移的AWS DataSync

AWS DataSync可以幫助用戶在本地存儲以及Amazon S3、Amazon EFS或Amazon FSx for Windows File Server之間快速、簡單地在線移動大量數(shù)據(jù)。與數(shù)據(jù)傳輸有關(guān)的手工任務(wù)可能大幅拖累遷移進度并增加IT負擔，DataSync則能省略或自動處理大部分此類任務(wù)，包括腳本復(fù)制作業(yè)、調(diào)度、傳輸監(jiān)視、數(shù)據(jù)驗證以及網(wǎng)絡(luò)利用率優(yōu)化。DataSync軟件代理可連接到NFS和SMB存儲，因此用戶完全無需更改應(yīng)用程序。

AWS DataSync能夠借助互聯(lián)網(wǎng)或AWS Direct Connect鏈路，以最多十倍于傳統(tǒng)開源工具的速度順利傳輸數(shù)百TB以及上百萬的文件。用戶可以使用DataSync遷移活躍數(shù)據(jù)集或?qū)⑵錃w檔至AWS，將數(shù)據(jù)傳輸?shù)皆贫艘赃M行及時分析和處理，或?qū)?shù)據(jù)復(fù)制到AWS以保障業(yè)務(wù)連續(xù)性。

適用于離線存儲遷移的AWS Snow Family

AWS Snow Family包括AWS Snowcone、AWS Snowball以及AWS Snowmobile。AWS Snowcone和AWS Snowball是一種小巧堅固但非常安全的可移動存儲與邊緣計算設(shè)備，可用于數(shù)據(jù)收集、處理和遷移等工作。這些設(shè)備在設(shè)計上專門面向網(wǎng)絡(luò)帶寬受限或不具備網(wǎng)絡(luò)連接的邊緣位置，能夠在嚴苛的環(huán)境中提供存儲和計算能力。AWS Snowmobile則是一種EB級規(guī)模的數(shù)據(jù)傳輸服務(wù)，可用于將海量數(shù)據(jù)（包括視頻庫、圖片倉庫，甚至完整的數(shù)據(jù)中心內(nèi)容）遷移到云端。借助AWS Snowcone與AWS DataSync的集成，用戶可以從邊緣位置進行在線數(shù)據(jù)遷移。

通過AWS Storage Gateway

實現(xiàn)混合云存儲訪問

除了VPN連接，用戶還可以利用現(xiàn)有的AWS Direct Connect從本地數(shù)據(jù)中心訪問自己在AWS中的數(shù)據(jù)。AWS通過AWS Storage Gateway為不同類型的數(shù)據(jù)訪問模式提供了豐富的選項，以及本地緩存功能，可以更快地讀寫最常訪問的數(shù)據(jù)。

AWS Storage Gateway是一種混合云存儲服務(wù)，可供用戶從本地訪問幾乎無限量的云存儲空間。用戶可以使用Storage Gateway簡化存儲管理工作并降低關(guān)鍵的混合云存儲用例的相關(guān)成本。例如將備份轉(zhuǎn)移到云端，在本地使用由云存儲支撐的文件共享，為本地應(yīng)用程序提供AWS中數(shù)據(jù)的低延遲訪問途徑。

下列存儲模式示意圖展示了混合云存儲的訪問模式：

圖5：混合存儲模式?jīng)Q策矩陣

圖5展示了需要繼續(xù)保留在本地的應(yīng)用程序的存儲模式?jīng)Q策矩陣。這些應(yīng)用程序在利用本地讀/寫緩存以極低延遲訪問活躍工作集的同時，同樣可以獲得云平臺所提供的各項收益。圖5還展示了應(yīng)用程序或用戶利用首選存儲協(xié)議訪問本地存儲的工作集數(shù)據(jù)時對應(yīng)的決策矩陣。這種情況下，可在幾分鐘內(nèi)獲得幾乎不受限制的云存儲空間擴展能力。

在圖5所示的決策矩陣中，工作負載的存儲訪問協(xié)議、性能要求以及可擴展性要求扮演了關(guān)鍵角色。該決策矩陣還涉及了其他一些用例，例如借助AWS Storage Gateway的Tape Gateway對長期保存的備份進行分層存儲（用以取代磁帶備份技術(shù)），將其存儲到Amazon S3的歸檔層中

結(jié)論

無論用戶需要從零開始進行遷移或需要把突發(fā)工作負載遷移至云端，AWS提供了能在這一過程的每個環(huán)節(jié)提供幫助的服務(wù)。在從本地存儲環(huán)境遷移至云端解決方案后，組織將變得更敏捷，更具創(chuàng)新性。將本地數(shù)據(jù)存儲遷移至AWS存儲服務(wù)還可能幫助組織改善可擴展性與安全性，并降低基礎(chǔ)結(jié)構(gòu)成本。

越來越多的企業(yè)IT管理者開始意識到AWS可以幫助自己以前所未有的方式，更安全地駕馭新的工作流程和服務(wù)。例如TransferWise，這家AWS客戶利用AWS Storage Gateway、Amazon EBS和AWS Backup輕松地在AWS平臺上遷移并管理數(shù)據(jù)庫和備份。借助Amazon Relational Database Service（Amazon RDS）和Amazon EC2，TransferWise已經(jīng)將數(shù)百個數(shù)據(jù)庫遷移至AWS。此外，TransferWise還解決了本地環(huán)境的可擴展性問題，通過遷移至AWS更好地觸及遍布全球的客戶。

“通過使用AWS，我們可以在需要的時間和地點快速獲得所需的計算和存儲資源，這樣的速度比以往任何時候更快。AWS可以幫助我們更好地推進全球擴張戰(zhàn)略?！?/p>

如果希望更進一步了解本文所涉及的產(chǎn)品，建議部署DataSync代理并將測試工作負載遷移至AWS存儲服務(wù)，借此可以測試上文提到的任何服務(wù)，并測試自己的運維、安全和性能要求。如果您正在尋找更多的資源希望將基于文件存儲的應(yīng)用程序遷移到AWS，請訪問我們的遷移至托管文件存儲資源頁面。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。