Google Cloud Storage 是一個由 Google 提供的遠端儲存服務,它能夠讓企業和開發人員將資料存儲在可擴展的基礎架構上。使用 Google Cloud Storage,您可以輕鬆地儲存、管理和擴展資料,並使用各種工具和服務來處理和分析資料。
本文將帶您了解:
- 如何選擇 Cloud Storage 儲存位置
- 如何選擇 Cloud Storage 儲存級別
- 如何搬遷資料
- 資料搬遷步驟
選擇 Cloud Storage 儲存位置
選擇 Cloud Storage Bucket 的位置類型時需要考慮多種因素,在選擇前先了解各種類型的優缺點,以下是優缺點參考的表格:
單區域 (Regional) |
雙區域 (Dual-region) |
多區域(Multi-region) |
|
RTO |
0 |
0 |
0 |
Data redundancy |
跨 zone (同步) |
跨 region (異步) |
跨 region (異步) |
傳輸速率 |
200 Gbps 可申請擴展至 Tbps |
200 Gbps 可申請擴展至 Tbps |
50 Gbps 有限的性能擴縮 |
價格 |
低 |
高 |
中 |
Replication 費用 |
無 |
寫入時 |
寫入時 |
Egress 費用 (reading data) |
無 |
無 |
始終 |
其他 (optional) |
Turbo replication |
Turbo replication: 在 15 分鐘內將任何 Cloud Starage 對象異步複製到 Regional,可提供更短、更易於預測的 RPO,有利於降低 data loss 的風險。
選擇 Cloud Storage 儲存級別
您可以依據資料的使用頻率選擇以下四種儲存級別:
選擇儲存級別的優先考量為如果會很頻繁地使用到該資料就建議將它設為 Standard,儲存一個月內不會使用到的資料則可以設為 Nearline,三個月則可以使用 Coldline,甚至是一年以上都不會碰的資料就可以設定為 Archive 級別。如下表所示:
Standard |
Nearline |
Coldline |
Archive |
Frequency |
30 Days |
90 Days |
365 Days |
選擇使用哪一種儲存級別極為重要,這攸關於花費的多寡。儲存價格雖然:Standard > Nearline > Coldline > Archive,但如果您在未達最短儲存期限刪除、移動、替換該物件,依然需要支付該級別的最低儲存天數費用。以下兩種功能不限於此。
如果您不清楚資料的讀取頻率,您可以在建立 Bucket 時選擇啟用 Autoclass 功能,啟用後初始級別為 Standard,隨後 Google Cloud 會根據對象的訪問頻率,自動將您的 Cloud Storage 轉換到適當的儲存級別。您也可以使用 Object Lifecycle Management(生命週期管理),設定排程讓 Cloud Storage 自動將達到指定設定時間的資料從 Cloud Storage 中刪除或轉換至價格較低的儲存級別。
資料搬遷
如果您正在考慮不同的 Bucket 中搬遷物件,或者您需要在不同區域、區域之間移動資料,Google Cloud Storage 提供了一個稱為 Storage Transfer Service (STS) 的功能。此次的資料從多區域搬遷至單區域就是 STS 的其中一種應用。
STS 的特性:
- 集中管理作業,藉此監控 transfer 狀態
- 在每個環境都能兼顧安全性和可靠性(資料加密和驗證)
- Incremental transfer
STS 的優勢:
- 使用混合雲,多雲的策略
- 優化基礎架構的管理,降低費用
- 快速完成大規模的 Data transfer
STS 除了地端到雲端還提供以下跨雲搬遷或備份服務:
- Amazon S3 → GCS
- Microsoft Azure Blob Storage → GCS
使用 STS 的適用時機為大於 1 TB 的資料,以及跨雲之間的傳輸。
選擇 Cloud Storage Bucket 的位置類型時需要考慮很多因素。但是,隨著需求的變化,您可能會發現選擇單區域比多區域或雙區域具有更低的成本或更好的性能。可是一旦您的 Bucket 已建立完成,就無法更改該 Bucket 位置類型。
此次使用 STS 從多區域搬遷至單區域為例,搬遷的基本步驟如下:
- 在想要的區域建立新的 Bucket
- 使用 STS 將原多區域的資料搬遷到新的單區域的 Bucket
- 測試新 Bucket 裡的資料,測試通過後,刪除原多區域的 Bucket
STS 本身是免費的,但執行搬遷會產生與移動相關的費用,有關詳細的費用訊息,請參閱 Storage Transfer Service 費用定價。
此篇雖然是說明如何將多區域至單區域的搬遷,但在步驟中與其他類型的更改也都大同小異,例如:將多區域搬遷至雙區域、將單區域中的資料從區域中的一個位置搬遷至另一個位置。