【手把手教學】如何選擇及更改 Cloud Storage 的 Bucket 位置?

Google Cloud Storage 是一個由 Google 提供的遠端儲存服務,它能夠讓企業和開發人員將資料存儲在可擴展的基礎架構上。使用 Google Cloud Storage,您可以輕鬆地儲存、管理和擴展資料,並使用各種工具和服務來處理和分析資料。

本文將帶您了解:

  • 如何選擇 Cloud Storage 儲存位置
  • 如何選擇 Cloud Storage 儲存級別
  • 如何搬遷資料
  • 資料搬遷步驟

選擇 Cloud Storage 儲存位置

選擇 Cloud Storage Bucket 的位置類型時需要考慮多種因素,在選擇前先了解各種類型的優缺點,以下是優缺點參考的表格:

  單區域 (Regional)

雙區域 (Dual-region)

多區域(Multi-region)

RTO

0

0

0

Data redundancy

跨 zone (同步)

跨 region (異步)

跨 region (異步)

傳輸速率

200 Gbps

可申請擴展至 Tbps

200 Gbps

可申請擴展至 Tbps

50 Gbps

有限的性能擴縮

價格

Replication 費用

寫入時

寫入時

Egress 費用

(reading data)

始終

其他

(optional)

 

Turbo replication

 

Turbo replication: 在 15 分鐘內將任何 Cloud Starage 對象異步複製到 Regional,可提供更短、更易於預測的 RPO,有利於降低 data loss 的風險。

選擇 Cloud Storage 儲存級別

您可以依據資料的使用頻率選擇以下四種儲存級別:

選擇儲存級別的優先考量為如果會很頻繁地使用到該資料就建議將它設為 Standard,儲存一個月內不會使用到的資料則可以設為 Nearline,三個月則可以使用 Coldline,甚至是一年以上都不會碰的資料就可以設定為 Archive 級別。如下表所示:

Standard

Nearline

Coldline

Archive

Frequency

30 Days

90 Days

365 Days

選擇使用哪一種儲存級別極為重要,這攸關於花費的多寡。儲存價格雖然:Standard > Nearline > Coldline > Archive,但如果您在未達最短儲存期限刪除、移動、替換該物件,依然需要支付該級別的最低儲存天數費用。以下兩種功能不限於此。

如果您不清楚資料的讀取頻率,您可以在建立 Bucket 時選擇啟用 Autoclass 功能,啟用後初始級別為 Standard,隨後 Google Cloud 會根據對象的訪問頻率,自動將您的 Cloud Storage 轉換到適當的儲存級別。您也可以使用 Object Lifecycle Management(生命週期管理),設定排程讓 Cloud Storage 自動將達到指定設定時間的資料從 Cloud Storage 中刪除或轉換至價格較低的儲存級別。

資料搬遷

如果您正在考慮不同的 Bucket 中搬遷物件,或者您需要在不同區域、區域之間移動資料,Google Cloud Storage 提供了一個稱為 Storage Transfer Service (STS) 的功能。此次的資料從多區域搬遷至單區域就是 STS 的其中一種應用。

STS 的特性:

  • 集中管理作業,藉此監控 transfer 狀態
  • 在每個環境都能兼顧安全性和可靠性(資料加密和驗證)
  • Incremental transfer

STS 的優勢:

  • 使用混合雲,多雲的策略
  • 優化基礎架構的管理,降低費用
  • 快速完成大規模的 Data transfer

STS 除了地端到雲端還提供以下跨雲搬遷或備份服務:

  • Amazon S3 → GCS
  • Microsoft Azure Blob Storage → GCS

使用 STS 的適用時機為大於 1 TB 的資料,以及跨雲之間的傳輸。

選擇 Cloud Storage Bucket 的位置類型時需要考慮很多因素。但是,隨著需求的變化,您可能會發現選擇單區域比多區域或雙區域具有更低的成本或更好的性能。可是一旦您的 Bucket 已建立完成,就無法更改該 Bucket 位置類型。

此次使用 STS 從多區域搬遷至單區域為例,搬遷的基本步驟如下:

  1. 在想要的區域建立新的 Bucket
  2. 使用 STS 將原多區域的資料搬遷到新的單區域的 Bucket
  3. 測試新 Bucket 裡的資料,測試通過後,刪除原多區域的 Bucket

STS 本身是免費的,但執行搬遷會產生與移動相關的費用,有關詳細的費用訊息,請參閱 Storage Transfer Service 費用定價

此篇雖然是說明如何將多區域至單區域的搬遷,但在步驟中與其他類型的更改也都大同小異,例如:將多區域搬遷至雙區域、將單區域中的資料從區域中的一個位置搬遷至另一個位置。

搬遷步驟

注意! 圖中之 gcs:// 為原 Google Cloud Blog 作者誤植,應為 gs:// 。
icon/enlarge

此圖說明了整個搬遷的過程將如何進行,先使用 STS 將資料從原 bucket transfer 至新的單區域 bucket,確認完成後在新的 bucket 上測試,確認上述都沒問題之後將進入分岔環節(由於 bucket 本身的名稱是獨一無二的,如新 bucket 名稱想要照舊,那就必須再進行一次傳輸,但第二次的傳輸時間大約是第一次傳輸的十分之一而已,因為是從區域內進行簡單的複製作業,所以不用太擔心時間冗長),在您刪除舊 bucket 時,應立即建立相同名稱的單區域 bucket,避免在您刪除時有人將名稱給取用走。

此外,可以同時執行多個 Transfer job 以減少整體搬遷的時間,將每個 job 配置按前綴來篩選對象,若配置妥當,可以再減少更多時間,詳情參考 Filter by prefix

此篇文章參考並改寫來自 Google 部落格

撰文者:Will Chien/協助客戶實現高效、安全、可擴展的雲端解決方案

訂閱 CloudMile 電子報

所有 CloudMile 最新消息、產品動態、活動資訊和特別優惠,立即掌握。