BigQuery 是什麼?與傳統倉儲不同,4 大優勢助你分析大數據資料!

Google Cloud 旗下知名的大數據分析平台 BigQuery,如今早已深受許多企業青睞,作為自家的雲端倉儲和資料分析工具。這次 CloudMile 文章將會比較 BigQuery 和傳統資料倉儲的差異、BigQuery 優勢,以及價格計算方式,讓有興趣的企業可以對 BigQuery 有更多認識。

BigQuery 是什麼

首先,讓我們先簡單了解 BigQuery 是什麼?BigQuery 是 Google Cloud 推出的雲端資料分析服務,可執行 PB 級規模的數據分析作業,像是大家日常會使用的 Google 搜尋引擎、Google Ads 服務,背後就是由 BigQuery 作為資料處理與分析的核心技術。BigQuery 同時也內建機器學習技術,讓用戶能依照自己的需求進行更深度的資料分析。

去年,Google 推出 BigQuery Omni 服務,能支援跨雲的資料分析,讓用戶可以使用熟悉的 BigQuery 使用者介面以及標準 SQL 語法,以較低的成本來存取並且安全地分析儲存在 Google Cloud、Amazon Web Services (AWS) 和 Azure 的資料。混合多雲趨勢勢在必行,BigQuery 提供單一平台存取跨雲資料的解方,解決客戶資料儲存於不同雲平台、難以整合分析的痛點。

Google BigQuery Omni 服務,可支援跨雲資料存取與分析。
icon/enlarge

簡單了解 BigQuery 之後,讓我們來看看 BigQuery 這個 GCP 明星產品,究竟有哪些優點?

BigQuery 四大優點

  1. 速度快:查詢或分析 TB/PB 等級的資料最快可達到「秒」的等級。
  2. 費用省:省去維運硬體成本;每月都有 Free credit/Usage;依使用情形提供對應折扣。
  3. 應用多:支援各種 BI(Business Intelligence)工具;協同第三方強化資料整合至分析應用。
  4. 彈性大:無需先定義使用空間;支援多種語法;多元存取方式。

除了上述四大優點,BigQuery 採用類似 SQL 的語法,讓用戶查詢資料時更易上手,資料存取也經過加密處理以強化安全機制,而大家最在意的 DR(Disaster Recovery)能力,BigQuery 則提供資料多份複製的功能,以避免資料遺失的風險。了解 BigQuery 所具備的優勢與功能後,或許有些人會好奇,我已經導入傳統資料倉儲了,為什麼還會需要 BigQuery 呢?我們從以下四個面向,帶您比較傳統資料倉儲與 BigQuery 雲端資料倉儲的不同之處。

BigQuery 資料倉儲與傳統資料倉儲四大差異

1. 軟硬體設備擴充彈性:

傳統資料倉儲往往需花費許多費用與時間在建置內部機房、購買軟硬體設備,再進行軟硬體安裝。隨著市場環境競爭日益激烈,企業內部資料量累積速度愈來愈快速,數據分析需求愈來愈即時,企業 IT 部門即使不斷採購新的軟硬體設備,也無法做到短時間內的分析效能升級。但企業如果能搭配使用雲端資料倉儲 BigQuery,便無需煩惱基礎架構升級、管理或安全防護設定,還能快速分析多達 PB 級的資料量,並彈性地配合資料量來調整作業規模。

2. 成本與計費方式:

如同前述,傳統資料倉儲在前期就需要相當龐大的軟硬體建置成本,但後續的使用需求卻難以準確評估,因此許多企業會面臨到資源不足或是資源閒置的情況,每當遇上定期的設備升級時,便會開始評估是否要轉向 BigQuery 這類的雲端資料倉儲。BigQuery 是根據使用量計費,每個月都有免費的 10 GB 儲存量和 1 TB 的查詢額度。接下來會有 BigQuery 計費概念的介紹,供企業參考評估。

補充說明,不同於傳統資料庫在進行分析時,會把所有的資料全部掃描過一遍再篩選所需的項目,BigQuery 在成本優化方面能支援 Partitioned table 功能,可以依照時間做切片,來 query 特定的資料段,並且在加速分析效率的同時,還能有效節省成本。

3. 進階分析技術門檻:

BigQuery 內建機器學習功能-BigQuery ML,讓數據資料學家和資料分析師可以直接在 BigQuery 中使用簡單的 SQL,以全球規模的結構化或半結構化資料來建立和執行機器學習模型,且所需時間比以前減少許多。

4. 查詢速度與適合查詢的資料大小:

對於企業來說,營運端所需的數據或是報表,時常都是有時效性且急迫性高的,而軟硬體設備是否有擴充彈性,會大幅影響企業的敏捷性。BigQuery 即是以強大的「分析速度」著名,查詢或分析 TB/PB 等級的資料,最快可達到「秒」的等級,相較之下,傳統資料倉儲或是分析工具,分析時間可能動輒以小時來計算。

  BigQuery 雲端資料倉儲 傳統資料倉儲
軟硬體設備擴充彈性 • 擴充性高
• 無需購買/管理基礎架構
• 擴充性低
• 需建置內部機房、購買軟硬體設備,再進行軟硬體安裝
成本與計費方式 以資料查詢量或運算量計費 • 軟、硬體升級費用
• 資料閒置、效能不足等隱藏成本高
分析工具 內建機器學習技術 工程師需自行建立機器學習模型
查詢速度與適合資料大小 查詢或分析 TB/PB 等級的資料,最快可達到「秒」的等級。 傳統資料集通常使用 GB 或 TB 等計量單位 

 

BigQuery 定價方式

BigQuery 的計價方式分為兩個主要部分,包括「分析定價」和「儲存定價」,以下為您簡介兩種計價方式的差異。

1. 分析定價指的是 BigQuery 處理資料查詢(query)的費用,分為「以量計價」和「固定費率」兩種:

  • 以量計價(On-demand pricing):此種計費模式,簡單來說就是依照企業用量來收費,系統會根據各項查詢處理作業的位元組數來進行收費。BigQuery 每個月處理的前 1 TB 查詢資料為免費額度,超過額度後,則是每 TB 收取 5.75 美元(台灣 asia-east1 的定價)。
  • 固定費率(Flat-rate pricing):此種計費模式適合想要支付固定查詢作業費用的企業。採用此種計價模式,必須購買運算單元(虛擬 CPU),購買 CPU 時,您必須購買可用於執行查詢的專用處理容量。運算單元的使用承諾方案如下幾種:

☑︎ 彈性運算單元:承諾至少使用 60 秒。

☑︎ 月付方案:承諾至少使用 30 天。

☑︎ 年約方案:承諾至少使用 365 天。

2. 儲存定價指的是收取已載入 BigQuery 的資料儲存費用,分為「動態儲存」和「長期儲存」兩種。兩種儲存定價方式在效能、耐用性或可用性沒有任何差異,且每個月前 10 GB 儲存空間是 BigQuery 提供的免費額度。

  • 動態儲存:包含過去 90 天內修改過的任何資料表或資料表分區。
  • 長期儲存:包含任何連續 90 天未經修改的資料表或資料表分區。這類資料表的儲存費用會自動調降約 50%。

*採用月付方案或年約方案時,可以享有較低的價格,歡迎參考 Google Cloud 官方文件,並洽詢 CloudMile 了解最適合您企業的價格優化最佳方案,將會有專人為您解答。

BigQuery Omni 定價

前述有提到 BigQuery Omni 服務,能支援 AWS、Azure 等多雲的資料分析,Google 文件中也列出了相關定價。BigQuery Omni 目前提供固定費率的計價方式,可讓您預估查詢的費用,也有支援月付和年約等方案優惠。歡迎參考以下文件,了解目前支援的區域(Region):https://cloud.google.com/bigquery/docs/omni-introduction

BigQuery 落地,資料不出境

當企業因業務持續拓展而累積更多資料,相較於自有實體機房,許多品牌已將企業資產搬遷至雲端上,以獲得公有雲平台所能提供的強大運算能力與儲存空間。然而,許多資料因涉及敏感性與安全性,使得企業對於是否採用公有雲服務有了另一層考量。

以台灣為例,根據金管會列出對應的法規為-金融機構作業委託他人處理內部作業制度及程序辦法,若業務所產生之資料有跨國傳輸/儲存之需求,必須向主管機關報備,然金融業所持有的業務資訊,則不適用可委外處理的範圍,簡單來說就是機敏性資料只能存於國內。

過往若要使用雲端平台所提供之服務,常面臨無法將服務綁定於在地機房,因而造成資料出境(出海)的問題。然而 BigQuery 服務落地,即表示可將 BigQuery 服務限定在 Google Cloud 在台灣彰濱工業區的機房,協助企業用戶無需犧牲商業效益也能全然遵循法規!

BigQuery 應用案例 - 全球金融巨頭 HSBC

目前已有許多國外知名金融業者採用 BigQuery 以協助其日常維運與業務拓展。例如 HSBC,截至2017 年,HSBC 內部顧客資料累計達 93PB 等級的巨量資料,為了能更方便地在 GCP(Google Cloud Platform)平台上展開各項資料分析應用,HSBC 採用了 GCP 儲存方案 Google Cloud Storage 以節省自建資料中心所產生的鉅額費用。在風險分析方面,透過 GCP上的 BigQuery,HSBC 無須事先定義資料庫大小,僅須將資料上雲後,即能享受 BigQuery 所具備的海量資料分析與即時運算能力,此外,所儲存與分析的資料,也能應用於機器學習(Machine Learning)的模型,協助HSBC 發展防洗錢機制。

除金融業外,面臨機敏性巨量資料處理的產業還有醫療業、廣告業和零售業等,藉由 GCP (Google Cloud Platform) 讓企業用戶不須負擔網路基礎架構與維運等費用外,其 BigQuery 服務也讓用戶無需介入資料分析運算等複雜且耗時的工作,也能在資料海中快速撈出具商業價值的洞見並進行更多應用,讓企業在分秒必爭的環境中,不錯失任何商機!

延伸閱讀:BigQuery 多項技術突破 助企業發揮更多業務創新 

台灣大車隊案例:https://www.mile.cloud/zh/resources/case-study/taiwan-taxi_324

東南旅遊案例:https://www.mile.cloud/zh/resources/case-study/settour_302

訂閱 CloudMile 電子報

所有 CloudMile 最新消息、產品動態、活動資訊和特別優惠,立即掌握。