Google Cloud 有各種存儲選項可滿足您的工作負載需求,包括用於高性能應用的區塊存儲 (block storage)、用於內容分發和 AI/ML 等工作負載的物件存儲 (object storage)、支援同時寫入 (multi-writer)功能的檔案存儲 (file storage)以及用於資料倉儲 (data warehouses)和資料湖泊 (data lakes)的特殊存儲區。
區塊存儲 Block storage
區塊儲存涉及在固定大小的區塊中儲存和存取資料。 它非常適合需要低延遲和高效能儲存的應用,例如需要極低延遲(<1ms)、高 IOPS (Input/Output Operations Per Second)、高吞吐量 (throughput)或三者組合的資料庫和應用程式。
在 Google Cloud 中, 有以下幾種塊存儲的方案可以選用:
- Local SSD: 提供直接連接到虛擬機器實例的高效能暫存。 它適用於需要低延遲和高 IOPS 的苛刻工作負載。
- Persistent Disk: 提供持久可靠的持久存儲,可動態連接到虛擬機器或從虛擬機器分離。
- Hyperdisk: 提供可動態擴展的高效能持久存儲,性能明顯優於 Persistent Disk。
物件存儲 Object storage
Object storage 將資料儲存為物件,包含 metadata (元數據)以及物件唯一識別碼。 它通常用於需要高可擴展性(考慮多 PB 到 EB 規模)和耐用性的應用程式。 範例用例包括:內容交付網路 (CDN)、災難復原、備份存放、資料分析和 AI/ML 數據存放。
- Cloud Storage 是 Google Cloud 中的可擴展且高度可用物件儲存服務,其支援跨區域的冗余和訪問。此外 Cloud Storage 提供極高的耐用性 (99.999999999%),這意味著即使有十億個物體,可能 100 年也不會丟失一個。
NFS and Multi-Writer File Storage
網路檔案系統 (NFS) 和 Multi-Writer 檔案儲存是允許多個使用者和虛擬機器存取和修改檔案的檔案系統。 NFS 允許多個客戶端對共用檔案進行並發讀寫訪問,而多寫入檔案儲存則允許多個客戶端或節點同時寫入,適用於即時協作、版本控制系統和分散式運算。
在 Google Cloud 中, 有以下幾種方案可以選用:
- Filestore 是 Google Cloud 中的完全託管的文件儲存服務,它將 NFS 相容性和 Multi-Writer 功能融為一體。 借助 Filestore,您可以創建高度可用且可擴展的 NFS 檔案共享,與 Google Cloud 的運算產品(包括Google Kubernetes Engine (GKE) 和Google Cloud VMWare Engine 環境)無縫集成,從而允許多個容器和 Pod 在同一個檔案系統中同時寫入和存取並共用檔案。
- Google Cloud NetApp Volumes 也是完全託管的文件儲存服務,可提供高效能,並允許您在 Google Cloud 中遷移和運行要求嚴格的企業應用程式和任務,而無需進行任何重構。
SMB storage
SMB 儲存是 Windows 環境中常用的基於網路的檔案共用協議,用於在連網虛擬機器之間實現無縫檔案共用。
- Google Cloud NetApp Volumes:除了提供 NFS 和雙協定支援之外,NetApp Volumes 還支援 SMB,以便為您的應用程式環境設定檔儲存。
資料倉儲和資料湖泊 Data lakes and Data warehouses
資料湖和資料倉儲可以整合多個來源的數據,促進資料整合並提供組織資料資產的統一視圖 (view)。 它們允許組織執行複雜的分析並從大量結構化和非結構化資料中獲取抽象關聯,並作為機器學習任務的基礎。
在 Google Cloud 中, 有以下兩種方案可以選用:
- 如果您的重點是結構化資料分析、商業智慧 (BI)和報告,請考慮使用 BigQuery 作為您的資料倉儲解決方案。 BigQuery 是一個完全託管的無伺服器資料倉儲,可讓您使用基於 SQL 的查詢以高效能和可擴充性儲存、查詢和分析海量資料集。
- 為了建構資料湖泊,雲端儲存可作為原始資料的可擴展且持久的儲存選項,支援以其原始格式提取和儲存結構化、半結構化和非結構化資料。 它與其他 Google Cloud 服務無縫整合。 例如,BigQuery 能夠直接查詢儲存在 Cloud Storage 中的數據,作為資料湖泊的分析引擎。
資料來源:Pick the right storage option on Google Cloud | Google Cloud Blog
延伸閱讀:【手把手教學】如何選擇及更改 Cloud Storage 的 Bucket 位置?
Leon Lin /致力於 infra 和後端開發,並樂於分享的工程師。