【資料倉儲現代化案例】一次了解企業遷移資料倉儲常見的四大挑戰及策略

我們常聽到客戶說,遷移資料是一場艱苦的戰鬥。事實上,原因在於沒有事先規劃周全的遷移策略。

從傳統的環境遷移到現代化的資料倉儲,前期可能需要大量地投資時間與資源。從前置準備到實際搬遷的過程中,會需要考慮許多事項,因此,企業必須採取策略性的方法來簡化這個過程。CloudMile 已協助海內外超過 400 家企業組織進行數位轉型,也助攻橫跨 10 多個產業的客戶成功搬遷上雲,能協助企業將資料轉移到 BigQuery 資料倉儲。以下是我們常聽到關於遷移至雲端資料倉儲的幾大疑問:

  • 如何將任何的遷移風險或資安挑戰降到最低?
  • 遷移需要花多少錢?
  • 如何將資料遷移到目標資料倉儲?
  • 多久才能看到與遷移前相同或更好的成效?

當用戶開始進行資料搬遷時,這些都是需要提出並取得答案的重要問題,接下來,讓我們依照順序一一來看看:

一、如何將任何的遷移風險或資安挑戰降到最低?

考慮本地資料倉儲的安全性很容易,因為它在您的資料中心或稱為地端,您可以自行管理它的資料保護、加密機制。但是,如果擴充一個本地的資料倉儲是困難的,那麼隨著業務的擴展,保護它的資料安全也是困難的。

我們設置多種功能來保護 BigQuery。對於企業用戶,管理適當且基於角色的用戶訪問資料時,Cloud Identity 和 Access Management(Cloud IAM)是關鍵的設定,您還可以利用 BigQuery 中的 SQL 安全視圖,而且所有 BigQuery 資料在落地靜止和傳輸過程中都會進行加密。您可以增加對客戶管理的加密金鑰的保護,以建立更强大的安全措施。使用虛擬私人雲端(VPC)安全控制可以保護您的遷移路徑,因為它有助於降低資料竊取的風險。

二、遷移需要花多少錢?

雲端資料倉儲的成本與傳統資料倉儲的成本結構不同,像 Teradata 這樣的本地系統,可能取決於您的 IT 團隊每三年支付一次的硬體費用,以及為需要存取該系統的用戶支付許可證費用。在硬體預算之外,新增容量則是額外的成本。

有了雲端服務,您在成本和規模上有了更多的選擇。現在,您正在使用價格效用梯度,而不是一組固定的成本,如果您想從資料倉儲中獲得更多洞見,投入更多費用後即可立即查詢,反之亦然。雖然雲端資料倉儲有助於减少或免去首次投入的資金和固定成本,但它們並不完全相同。您會發現各個供應商之間的簡化程度和成本節省的程度不同,因此,檢查每個資料倉儲的操作成本與效能相關的營運成本非常重要。

三、如何將資料遷移到目標資料倉儲?

這個問題包括將擷取、轉換、加載(ETL)工作和 SAS/BI 應用程序工作負載遷移到目標資料倉儲,以及遷移所有查詢、存儲過程和其他擷取、加載、轉換(ELT)工作。

實際上,在遷移過程的一開始,將公司的所有資料都放上雲端可能會令人畏懼。我們知道,大多數企業都有很多資料孤島(soloed data),這可能是因為多年來不同團隊建立的多個資料湖泊(data lakes),或者是通過收購獲得、只處理一個或兩個關鍵應用程序的系統。您可能正在將資料從本地或雲端資料倉儲移動到 BigQuery,並輸入不匹配的類型系統。

為了成功遷移,準備的一個重要步驟是做一些工作負載和案例調查。這可能涉及稽核當前存在的案例,以及這些案例是否屬於更大工作負載的一部分,還有確定每個案例所支持的資料集、表格和架構。案例將因行業和工作角色而異。例如,零售定價分析師可能希望分析過去的產品價格變化,以計算未來的定價。案例可能包括從交易資料庫提取資料、將資料轉換為每個產品的單一時間序列、將結果存儲在資料倉儲表格中等等。

在準備和發現階段之後,您應該評估傳統環境的當前狀態再計畫遷移,這包括對案例進行分類和排列優先順序,稽核資料以決定哪些內容將被移動、哪些不會,以及評估整個組織的資料格式以確定需要轉換或重寫的內容。一旦决定,選擇你的提取和管道方法。所有這些任務都需要技術和人員去管理,並且需要組織就遷移完成後的成功情况,達成共識。

四、我們多久才能看到與遷移前相同或更好的成效?

管理傳統資料倉儲通常不是速度的同義詞。效能通常是以容量為代價的,因此在其他查詢運作完成之前,用戶無法進行所需的分析。報表和其他分析功能可能需要花費數小時或數天,這對於運算包含大量資料的大型報表(例如一季銷售的結算)尤其如此。隨著資料量和用戶數量的快速成長,效能可能開始降低,組織也經常面臨破壞性的中斷。

然而,使用像 BigQuery 的現代化雲端資料倉儲服務,計算和存儲是分開的,因此您可以立即擴充,而不必面對基礎架構的約束。BigQuery 幫助您實現現代化,因為它使用熟悉的 SQL 介面,因此用戶可以在幾秒鐘內完成查詢並馬上分享有意義的洞察。例如 Home Depot 的案例:客戶遷移他們倉儲空間後,將8小時的工作量减少到5分鐘。

遷移到雲端上可能會讓人因為覺得繁雜而感到畏懼,尤其是在遷移一個根深蒂固的傳統系統時,但帶來的好處是採用了讓業績成長的技術,而不是簡單地採用某一種工具。您可能已經發現有相關的業務需求,是時候進一步行動、騰出成長空間了。

延伸閱讀

《為什麼傳統的資料倉儲不再適用的 5 個原因?》

本文編譯自《Data warehouse migration challenges and how to meet them》

解鎖企業現代化旅程的階段性價值

CloudMile 是全台第一家獲得 Google Cloud MSP 託管服務認證的菁英合作夥伴,能透過經過認證的流程管理、專業團隊以及搬遷經驗,降低企業雲端搬遷的成本和風險,助攻 VM 及資料倉儲搬遷。

了解
訂閱 CloudMile 電子報

所有 CloudMile 最新消息、產品動態、活動資訊和特別優惠,立即掌握。