【Cloud Next'22】邁向開放數據生態系：BigQuery 支援非結構化資料、加速第三方資料庫即時資料分析

近年來，Google 不斷提倡開放雲端（Open Cloud）、開放數據（Open Data）的概念，推出能支援跨環境管理應用程式的 Anthos，以及能支援多雲端數據分析的 BigQuery。本文為您統整這次 Google Cloud Next 大會上發表的幾項關鍵數據升級，包括 BigQuery 支援非結構化數據、Datastream for BigQuery，以及視覺化 SQL 查詢流程工具 Query Inspector 及商業智慧平台 Looker 等相關更新。

資料倉儲 BigQuery 最新升級：支援非結構化資料應用

Google Cloud BigQuery 繼去年推出 BigQuery Omni 支援跨雲端環境的數據分析後，如今宣布 BigQuery 將支援非結構化資料和串流資料，包括文件、音檔、圖片，甚至是串流影音、Log 檔案等。BigQuery 新推出的圖表形式 Object Tables（預覽版本，請參考官方文件），支援 將儲存在 Google Storage Bucket 上的各種類型物件，以圖表欄位的形式紀錄下 URL、檔案類型及大小等 metadata 以及檔案內容，讓用戶能以 SQL 指令進行非結構化資料的查詢、合併、預測、治理與分享等操作，利於後續使用 Google Cloud 的 Vertex AI、語音辨識、翻譯及文字處理等工具進行資料分析預測。

Query Inspector 預覽版：支援視覺化 SQL 查詢流程，提升除錯效率

對於 DBA 來說，要從龐大且複雜的 SQL 指令中，快速了解運作流程並解決效能問題，可以說是一大工程。對此，Google 於今年大會上宣布推出 Query Inspector，將能以視覺化呈現 SQL 查詢流程，輕鬆了解查詢任務間的資料流與運作流程，並與過往的查詢表現進行比較，診斷過程中的效能問題，可作為統一監控 SQL 指令運作的平台。

BigQuery for Datastream：加速即時資料的擷取與分析

Google Cloud 宣布推出 Datastream for BigQuery（預覽版），讓企業能即時存取 MySQL、PostgreSQL、AlloyDB 和 Oracle 等第三方資料庫的串流資料，將這些數據直接複製到 BigQuery 中，利於即時分析商業數據。藉由 Datastream for BigQuery，將會強化 BigQuery 與各個資料庫間的資料共享機制，極大化即時資料應用。

至於資料前處理的階段，Google 宣布 BigQuery 將支援 ELT 處理工具 Dataform（預覽版），企業用戶可透過以 SQL 為基礎的語法 SQL X 來定義並管理資料 pipeline，同時也能搭配 GitHub 來進行版本管理，強化數據團隊的協作。

BI 工具升級：Data Studio 改名 Looker Studio，深化與 Looker 資料串接

Google 在 2020 年也宣布收購數據新創 Looker，與自家強大的資料倉儲 BigQuery 整合相容，提供從數據處理、分析到視覺化圖表系統的完整數據服務。如今，Google 於 Cloud Next’22 大會上宣佈，旗下的視覺化平台 Data Studio 正式更名為 Looker Studio，後續將統一以 Looker 作為商業智慧（Business Intelligence）品牌。以下為您統整 Looker Studio 與 Looker 幾大亮點：

亮點一：Looker Studio 與 Looker 平台生態系

Google 表示，Looker Studio 目前已支持 800 多個數據源以及超過 600 個 connectors，未來將會建立一個完善的用戶介面，讓企業用戶也能從 Looker Studio 存取 Looker 平台的資料模組，更輕鬆、簡便地進行商業分析。目前該功能可供預覽。

亮點二：推出企業版本 Looker Studio Pro 

Google 也宣布推出 Looker Studio 企業版本 Looker Studio Pro，將會提供企業級功能，當用戶升級 Looker Studio Pro，用戶可以享有 SLA 保障的技術支援及法遵治理等服務。

亮點三：以 Google Cloud 為技術核心的 Looker 版本

以 Google Cloud 為技術核心的 Looker 版本，目前已提供預覽版本，將會與 Google Console 平台整合，並支援安全政策與管理服務等雲端基礎架構。

亮點四：建構開放性的商業智慧生態系

Google 也宣布 Looker 擴大串接其他商業智慧工具，包括 Tableau 及微軟 Power BI，使得 Tableau 和 Power BI 用戶得以分析來自 Looker 的數據，並且開放與 BigQuery 進行數據串接。

CloudMile 觀點

BigQuery 支援非結構化資料對未來整體資料儲存的架構提供了另一種選擇，透過 BigQuery 友善價格且高效的儲存與運算，可以讓非結構化資料的分析更加快速與經濟實惠，後續進行 Vertex AI 或是 BigQuery ML 做分析預測，也能更快速方便且直接透過 BigQuery 來取得訓練所需的資料。

另外，Datastream 也終於支援 BigQuery！先前還必須透過 Google Cloud Storage 加上 Dataflow 才能進入 BigQuery，這次的升級支援大幅縮短數據從資料來源到入倉（BigQuery）的時間，使數據工程師能更專注於資料分析作業上。