職稱

數據管理/分析

AI 與機器學習

資訊安全

產業白皮書

技術白皮書

GCP手把手教學

GCP問題集

Google Cloud Next 

Anthos 

BigQuery 

Apigee 

遊戲娛樂

混合多雲/雲地混合

電商零售

智慧製造

科技新知

CloudMiler 札記

產業趨勢

金融服務

Google Maps

雲端搬遷

Google Workspace

媒體廣告

區塊鏈/WEB3

CloudMile 萬里雲 YouTube 節目【大咖來熱線・科技面對面】第三集，獨家揭露提供即時且快速技術支援的關鍵，並更進一步延伸至 AI 導入現況與未來發展，與弈樂科技深入探究打造無後顧之憂智能化數位組織的重要策略！
立即閱讀 &gt;&gt;&gt;<a title="【大咖來熱線EP3】Technical Account Manager 是什麼？全方位迎戰企業雲端，實現技術問題零死角" href="https://mile.cloud/zh/resources/blog/cloudmileyoutubeTAMServices_815">【大咖來熱線EP3】Technical Account Manager 是什麼？全方位迎戰企業雲端，實現技術問題零死角</a>&nbsp;
隨著創新技術持續引領企業應用多元發展，數據已然成為企業最重要且最具價值的重要資產，從傳統產業、醫療業、公部門，甚至到新創科技產業，無不仰賴數據驅動業務成長與提升決策品質；與此同時，數據的爆炸性增長也帶來全新挑戰，不論資訊安全、商業價值或企業應用，其重要性皆已顯而易見。
第四集，邀請到 Elastic 資深解決方案架構師 Jason Chan 與 CloudMile 萬里雲技術副總陳曉煒 (Michael Chen) ，拆解企業面臨龐大數據量所帶來的應用挑戰，更延伸至 AI 之於資料分析、資料品質及企業 AI 應用的關鍵影響，以打造拉開同業差距的全方位數據治理策略！
<iframe title="YouTube video player" src="https://www.youtube.com/embed/HYZiDsfaHgs?si=p5jNtwsCi7goQ5lJ" width="100%" height="315" frameborder="0" allowfullscreen="allowfullscreen"></iframe>
<h3>對談內容摘錄：</h3>
<h2>1. 隨著企業數據量日趨龐大且複雜，您認為完善數據治理的重要性與必要性為何？</h2>
Jason：現今，企業在數據治理層面，因應數據量日趨增加，所面對的難題亦越來越多；首先，目前企業大多缺乏統一平台與視角整合數據，再者，內部管理層面的挑戰層出不窮，包括 IT 維運效率、資料搜索變慢、資安風險增加等，皆大大挑戰企業在數據治理的全面性與完整性。
從業務與商務角度，企業大數據皆存在有價值的內容，而之中即缺乏良好工具進行挖掘，同時亦將反映在決策時間變慢與成本提高。不僅如此，完善數據治理要點在於固定平台做數據整理與分析，透過統一的視角降低維運成本；從組織架構角度，各部門統一視角將有助於高效協作，能更快速的發現問題，並做出明智的決策；從商業角度，挖掘有價值的資料，並進行數據分析，可以知道客戶習慣、客戶行為和市場趨勢，即能夠更有效的制定營銷策略，提升整個市場競爭力。
<h2>2. 想請教 Michael，您認為企業該如何評估自身數據治理的成熟性？</h2>
Michael：數據治理可以分成幾個角度，首先，數據治理必須處於中立，並透過第三方顧問進行評估，才能處在客觀角度去保證評估結果的中立性，第二，需採用國際認證框架，比如說 CDMC (Cloud Data Management Capability)或者 DAMA ( Data Management Association)，而此框架即是站在國際化角度，實踐標準化的方法論，可以客觀幫助企業了解數據治理現狀並給出相應的分析結果。
當企業到具體執行階段，可以從幾個角度切入，第一，掌握企業現況，透過分析客戶現狀，了解企業目標、專案時程，第二，分析和優化，釐清現狀目標後，確保量化報告跟企業兩兩一致，進而透過持續優化達成最終目標，第三，建置數據平台，了解目標與計畫後，企業需建置數據平台搜集所需數據，以保證客戶目標被持續滿足，第四，監控和改進，確保企業內技術與業務相結合，最終達成商業目標，並最大化數據價值。
<h2>3. AI 引領自動化應用應運而生，Elastic 會如何透過 AI 點燃數據的潛在價值？</h2>
Jason：近年 AI 技術迅速發展，為企業帶來更多創新可能，這之中 Elastic 投入大量資源做自動化研發，旨在幫助企業實現更好的競爭力。首先，Elastic 做為統一的數據平台，涵蓋基礎設施、雲端應用、資訊安全及業務數據，幫助企業將所有資料統合至數據平台中，並透過 Elastic Kibana 做靈活儀表板視覺化分析，快速洞察現有模式與異常，同時更準確發現數據治理盲區；再者， Elastic 在內建機器學習中，提供監督式和非監督式的機器學習，並應用 Elasticsearch Relevance Engine(ESRE) 技術，自動化分析趨勢與數據異常，讓企業能快速發現數據狀況，並且快速做出回應；最後，延伸至 AI ，基於機器學習基礎，透過 AR System 隨時隨地選擇地端或非地端大型語言模型，讓企業在 AI 應用能擁有高度的靈活性，並同時保護數據隱私，讓企業從大量非結構化數據中，提取有價值訊息，以轉換成更好的商業洞察。
<h2>4. CloudMile 會如何協助企業完善數據治理並實踐高質量目標？</h2>
Michael：企業若要實踐高質量數據需遵循國際化標準框架（ CDMC 或 DAMA ），而其中涵蓋面向十分多元，包含管理層面、架構設計層面、資訊安全層面、數據歸屬層面等等，如此即可確保符合數據六大特性『 唯一性、完整性、一致性、準確性、有效性、即時性 』，其次，數據亦需在統一的平台上運行，才可避免出現數據孤島。
CloudMile 曾協助零售業處理 3000+ 張資料表，且數據橫跨地端及雲端，因此需釐清其數據上下游關係，並進而提升數據品質，與此同時，當發現數據出現缺失、重複、不一致時，需透過數據清洗技術消除其中錯誤，以確保數據的可用性及準確性，此外，雲地混合架構設計即顯得額外重要，因此在雲端層面需設計靈活且可擴展架構，以支持數據的持續增長。
<h2>5. Elastic 服務範圍涵蓋 32 個國家與 5000+ 多間企業，有哪些實際應用案例可以跟我們分享呢？</h2>
Jason：Elastic 將 Elasticsearch Relevance Engine 利用在思科 Cisco 官方網站搜尋功能與技術售後支援平台，成功將用戶查詢速度提高 73% ；Booking.com 因每天資料量皆超過 100TB，Elastic 從基礎設施、平台應用到資安層面，提供全方位的整體監控與維運；Informatica 內部產品皆建置在 Elastic Cloud Kubernetes 上，並提供 Observability 與資安防護等；Orca Security 透過 Elastic Search and RAG 解決客戶在尋找解答時需自己下 Filter 指令所需具備專業知識和技術，以提高用戶的體驗與效率。
<h2>6. 未來，CloudMile 將如何與 Elastic 持續深化技術合作，以協助全球企業最大化數據價值？</h2>
Michael：Elastic 在 CloudMile 協助企業實踐數據治理的進程中扮演不可或缺的角色，第一，提供統一數據網格，透過一個完整的平台無縫整合數據，且此平台需具備雲地混合混合及可擴展性，第二，數據安全與治理，其不僅需包含數據分類與清洗，透過 Elastic 更能全方位的完善數據治理與資訊安全策略，第三，集中管理工具，可有效幫助技術人員簡化並提升工作效率。
未來，CloudMile 與 Elastic 將進行技術上的整合，首先，整合跨國數據訪問並完善資訊安全，再者，結合 Elastic AI 引擎，打造更多智能化數據應用，提升數據分析的智能化水平和自動化水平，並從海量的數據中發掘更多的商機與洞察。
Jason：未來，數據的前置準備和處理會顯得更為重要，而該如何實現並簡易全球化的數據訪問，CloudMile 可以在前期協助企業規劃數據的處理與策略，對爾後的統一視覺化報表、自動機器學習、企業知識庫及 AI 延伸發展等都將成為很好的基礎；而數據亦需重視資安與合規，透過 Elastic 平台結合 CloudMile 多年服務經驗，滿足包含基礎設施、資訊安全、數據分析等，為企業提供量身定制的解決方案！
<h2>歡迎聯繫 CloudMile 萬里雲，由專家為您諮詢企業數據治理服務</h2>
CloudMile 萬里雲成立於 2017 年，為亞洲領先的人工智慧與雲端服務供應商。團隊專注發展人工智慧技術，以實踐 AI 成為企業成長動能為己任。CloudMile 萬里雲提供企業數據治理服務，助力以數據驅動為目標產生商業價值，透過端到端的方式，將資料從上雲、管理、分析到 Data API 盈利化 ，逐步建構商業生態系，確保企業能最大化數據效益，提升業務營收。歡迎聯繫 CloudMile 萬里雲，<a href="https://mile.cloud/zh/contact">由專家為您諮詢數據治理相關應用</a>。

cloudmileyoutubeDataMana

現今，企業面臨龐大數據量所帶來的挑戰，全方位實踐數據治理，都將對於資料品質及AI 應用都有顯著影響

 【大咖來熱線 EP4】數據治理抽象嗎？從零開始運用 AI 點燃數據價值，捨棄治標不治本的數據治理錯誤策略

<a href="https://www.inside.com.tw/article/36229-CloudMile" target="_blank" rel="noopener">本篇文章轉載自 INSIDE</a>
越來越多新興住宅建案，導入社區智慧化管理系統，受惠 AIoT 科技應用，讓住戶可以減少出門機會，在社區內就能享受到食、衣、住、行、育、樂，生活當中各種的貼心服務。科技力的背後推手，是今網智慧科技（以下簡稱今網智慧）打造的智慧社區第一品牌「智生活」。 CloudMile 協助今網智慧將其 IT 基礎架構全面搬到 Google 雲端環境，不僅提升系統穩定度，更是與時俱進結合 AI 工具，讓今網智慧的客服單位提升 50% 人員利用率。

<h2 class="ck-section">服務多元衍生產品生態鏈，亟需上雲保持 24 小時不中斷</h2>
今網智慧投入近 30 年深耕在地，協助社區進行數位轉型；截至 2024 年 6 月，他們服務全台近 9,000 個社區、 3 萬多位物業管理保全人員。為了持續因應時代潮流又提升社區生活品質，今網智慧打造出一站式整合 AIoT 解決方案與智生活產品生態鏈，包含寬頻網路服務、多元數位工具應用，如家電清洗保養、寄送包裹、社區叫車、智慧包裹櫃等。
多元應用所衍生的產品生態鏈，今網智慧科技技術研發處長張至越表示，「我們的產品系統幾乎是每天迭代的速度，所以連帶 IT 基礎建設、系統穩定度、可擴展性也相當重要。」事實上，今網智慧過去 IT 基礎設備主要在地端，從 2017 年後開始把應用及商業系統搬上雲端，並於 2024 年達成營運系統移轉，邁向去機房化的新里程碑。
當時會考量上雲，張至越提到幾個實際狀況，像是地端的硬體設備若故障，無法立刻展開備援機制；偶而也會遇到供電不穩、高併發流量瓶頸、 DNS 服務中斷等情境。「更重要的是，我們各項業務必要維持 24 小時不中斷，一旦停機影響公司營運更攸關客戶的滿意與信任度。」張至越補充道。
張至越接著說，「我們觀察雲端有更大彈性可以擴充，而且把 IT 搬上雲端後，我們資訊及研發團隊可以把重心投入應用開發。」為什麼優先考慮 Google Cloud 作為上雲目標？今網智慧提到幾個因素，第一是 Google 在台灣有當地機房；其次發現總體擁有成本（ TCO ）更有競爭力；以及公司員工對 Google Workspace 熟悉度高，同仁習慣在 Google 的生態系統協作。
<h2 class="ck-section">CloudMile 助力今網智慧上雲，提供諮詢、規劃關鍵服務</h2>
企業在上雲過程，需要得力夥伴協助自身在搬遷的架構規劃、移轉、事後維運，都能持續發揮雲端的價值，而今網智慧上雲的過程就受到 CloudMile 萬里雲的大力助攻。張至越回溯當時雙方合作情境，他說「當時我們尚未接觸過雲端， CloudMile 先根據我們的 IT 資源若搬到雲端後的架構進行提案，幫我們理解上雲的範圍、釐清各種可能的問題，讓我們很安心。」
<div class="ad-content">
<div id="tmgad-in_a_p6_special-4" class="tmgad tmgad-type-general" data-google-query-id="CMr_8Onq7IkDFTzIFgUdQyckVQ">
除了早期的規劃、搬遷過程的諮詢，同時今網智慧也有使用到 CloudMile 獨家開發的一站式 FinOps 雲端管理平台 MileLync ，疑難雜症可以透過平台資源快速找到使用雲端的資訊。也是因為雙方密切溝通，今網智慧順利展開 Google Cloud &nbsp;平台上的 Google Compute Engine 、 Cloud SQL 的部署。
後續雙方也擴大合作範疇，從雲端運算、資料庫延伸到資安議題。張至越解釋，「 CloudMile 對資安知識相當專業，因為我們有上市櫃的規劃，認為客戶資料的稽核一定是主管機關會鎖定的重點，並希望我們的 IT 架構與資訊環境能符合 ISO27001 資安評核項目。 CloudMile 跟我們介紹 Google Cloud 的 Security Command Center 方案，協助我們實際強化資料安全、備份、防禦等面向。」
對於像今網智慧這樣關注高速商業發展，以及面對使用者每年倍數成長、 AIoT Edge 管理架構有多元需求，有關鍵的技術夥伴就更顯重要。張至越認為：「有時遇到雲端技術問題，我們可能有自己想法去解，但到底是否適合？或產業有其他更好方法？關鍵策略就仰賴 CloudMile 的建議搭配 Google Cloud 的方案，讓我們避免閉門造車，得以站在巨人肩膀持續奠基優勢。」
<h2 class="ck-section">導入 Google Cloud 多項解決方案，跨足 AI 跟上時代潮流</h2>
因為有 CloudMile 可靠夥伴，今網智慧這幾年持續在 Google Cloud 使用到相當多樣的解決方案。張至越盤點他們現在例行工作中使用到的項目，其一是以無伺服器的資料倉儲 BigQuery 為中心，實現內部數據的快速匯流與資料應用整合。過去，數據匯流與資料應用整合往往需要等上一週，現在不僅能快速整合數據，還能讓分析單位快速提取資料，促進數據應用落地，提升業務的靈活性與運營效率。
<div class="ad-content">
<div id="tmgad-in_a_p10-5" class="tmgad tmgad-type-general" data-google-query-id="CKbw8Onq7IkDFedtDwIdh_IUBA">
另外，今網智慧也透過 Google Kubernetes Engine 執行微服務架構、容器調度的管理自動化，幫助團隊成員掌握 DevOps 流程更有效率。其他工具還包含使用 Cloud SQL 重新配置 IT 人力，人才可以專注在開發應用程式與資料庫應用；另外，今網智慧每天產生大量的系統 log、AIoT 節點 log 、影像、圖片、非結構文檔、 NCC 雙證件加密檔案，也都會透過 Cloud Storage 完整儲存備份。
越來越多企業也希望藉由生成式 AI 來提升工作生產力。「當時 CloudMile 就有推薦我們一些 AI 工具，我們找出可以導入的應用場景，過程中 CloudMile 給我們相當有用的建議。」張至越解釋。
今網智慧觀察到 AI 可以優先幫助客服場景，因為他們服務項目多元，每次受理問題並排解到歸檔打單客戶回饋的內容，平均一件時間要 15 分鐘。於是，今網智慧把 BigQuery 機器學習模型搭配 Gemini API ，讓資料分析歸納與資料增強循環，針對相關問題透過 AI 快速生成建議做法。經過測試後，現在客訴處理作業時間平均縮短到7分鐘，而且也提升 50% 人員利用率。
<div class="content">
<article class="first_article first-use " data-ad2trk-observe="Main Article">
<div class="container post">
<div class="post_content_wrapper first-content">
<div class="post_content article">
<div id="article_content" class=" post_content_wrapper post-content-section " data-article-id="36229">
<section class="js-article-content-body">
今網智慧共同創辦人暨總經理胡至仁表示，「藉由智慧化的技術創造社區美好生活」是今網智慧的願景；透過一條龍服務項目加上系統快速持續迭代的優勢，讓品牌築起一道後進者無法隨意跨越的高牆。為了持續鞏固競爭力，今網智慧提到他們會持續攜手 CloudMile 挖掘 Google Cloud 應用工具，擴大他們在智慧社區市場的市占率。
</section>
</div>
</div>
</div>
</div>
</article>
</div>
</div>
</div>
</div>
</div>

SmartDaily-with-Google Cloud-and-CloudMile

越來越多新興住宅建案，導入社區智慧化管理系統。科技力的背後推手，是今網智慧科技打造的智慧社區第一品牌「智生活」。 CloudMile 協助今網智慧將其 IT 基礎架構全面搬到 Google 雲端環境，不僅提升系統穩定度，更是與時俱進嘗試 AI 工具，讓今網智慧的客服單位提升 50% 人員利用率。

「智生活」上雲助攻手 CloudMile，導入 Google Cloud AI 提升 50% 客服人員利用率

文章<a href="https://mile.cloud/zh/resources/blog/introduction-to-google-data-visualization-tools-part1_640" target="_blank" rel="noopener">上篇</a>介紹完 Looker Studio 與 Looker Studio Pro，接著讓我們來介紹 Looker。
<h2>Looker 介紹</h2>
如本文一開始所說，Looker 跟 Looker Studio、Looker Studio Pro 系列屬於不同產品，只是同被歸類在 Looker 產品線下。請看下圖的 Looker 簡介，我們先看數字 1、2 的區塊，1 的部分就是將資料取出做圖表的最終呈現，這裡跟 Looker Studio 的概念一樣。
接著我們看到 2，這邊說的是 Looker 可以做一個統一的接口，將不同 SQL 的 Database/Data warehouse 資料進行整理，便於後續統一製作圖表。如果各位想了解 3、4、5，歡迎參考 <a href="https://www.looker.com/platform/overview/" target="_blank" rel="noopener">GCP 官方文件</a>說明。

（圖一）：Looker 架構圖

（圖二）：Looker 平台支援的 Database/Data warehouse

延伸閱讀：<a href="https://mile.cloud/zh/resources/blog/what-is-looker-gcp-benefits_536" target="_blank" rel="noopener">Looker 是什麼？Google 買下 Looker 為商業智慧分析帶來巨大優勢！</a>
<h2>Looker 平台主要操作介面：Explore、Develop、Admin</h2>

（圖三）：Looker 平台介面，主要提供三個操作元件：Explore、Develop、Admin

理解完 Looker 基本介紹與架構後，接著來介紹 Looker 的重點功能與服務：
<ol>
<li> Looker Explore：著重在圖表製作功能，可以讓非技術人員直接在 Explore 畫面建立圖表，並製作成所需的 Dashboard，就是上圖第 1 區塊。Dashboard 還可以定時寄送給所需的使用者。</li>
<li> Looker Develop：著重在 Data governances (資料治理) 功能。透過 LookML 將放置在不同資料庫的資料整理後，統一讓使用者使用，可以大幅減少數據分析師與資料科學家進行數據採集與資料清洗的時間。例如，在 Looker 的 Develop 畫面上，可以讓用戶透過撰寫 LookML (<a href="https://cloud.google.com/looker/docs/what-is-lookml#:~:text=LookML%20stands%20for%20Looker%20Modeling,relationships%20in%20your%20SQL%20database." target="_blank" rel="noopener">Looker Modeling Language</a>) 來串接不同的 Database/Data warehouse，將資料整理好，讓使用者可以從 Explore 來使用，也就是上圖第 2 區塊。</li>
<li> Admin：著重在權限控管。可以讓企業組織管理員來設定 user、權限控管或是 Database/Data warehouse 連接等等的設定，請見上圖第 3 區塊。</li>
</ol>
<h3>Looker Explore</h3>
技術人員已經將 Database/Data warehouse 裡面的資料透過 LookML 整理好了，非技術人員就可以進去 Explore 裡面直接對整理好的資料來進行操作，可以簡單的透過滑鼠點擊選取所需要的資料，然後做成所需的圖表，完全不需要任何程式語言。

（圖四）：Looker Explore 畫面

<h3>Looker Develop</h3>
Looker Develop 則需要技術人員來進行操作，主要是要透過 LookML 將Database / Data warehouse 裡面的資料進行整理，可以讓非技術人員透過 Explore 來使用。
介紹 Develop 畫面之前，我們先來了解下方這張圖。首先從左下的 Data analyst 開始，技術人員寫好對應的 LookML，LookML 會自動轉成對應的 SQL 語法來跟 Database / Data warehouse&nbsp; 互動。接著非技術人員（下圖左上角的 Business user）透過 UI 的點選，就能使用 Data analyst 已經整理好的這些欄位，然後在 Looker 背後會轉換成對應的 SQL 語法來訪問 Database / Data warehouse 裡面的資料，最後變成最終呈現的圖表。

（圖五）：LookML 工作流程

以下這張圖包含了 Looker 最基礎的觀念，會建議各位在使用 Looker 以前先了解以下名詞。

（圖七）：LookML fundamental elements

<ol>
<li> Project：是 LookML 層級最高的物件，它包含了 model、views、dashboard 等等的檔案。這些檔案會跟 Database / Data warehouse 來進行互動，並告訴 Looker 該如何使用這些資料。</li>
<li> Model：讓使用者可以定義 Explore 的地方，非技術人員基本上使用 Explore 來找尋資料，透過 Model 來建立 Explore 的清單資料，也可以在 Model 這邊定義 table 該如何 Join。</li>
<li> View：View 就是技術人員透過 LookML 整理好 Database / Data warehouse 裡面的資料，建立對應的 View 放在 Explore 給非技術人員來使用。 View 裡面包含 dimensions、measures、field sets 這些。
<ul>
<li>Dimension：簡單來說就是我們要搜尋的欄位，我們在這邊進行定義這個給使用者搜尋的欄位跟 Database / Data warehouse 之間的關係。下圖的例子就是 Database 欄位的名字跟 View 裡面搜尋欄位的名字相同。</li>
</ul>
</li>
</ol>
&nbsp;

（圖七）：Looker Develop View 畫面

&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2.Measure：可以將 Database 裡面的資料進行加總計算或是轉換等等。下圖例子就是先將&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;「sales_price」欄位進行平均的動作。

（圖八）：Looker Develope View 畫面

歡迎參考 <a href="https://cloud.google.com/looker/docs/lookml-terms-and-concepts#lookml_project" target="_blank" rel="noopener">GCP 官方網站</a>，詳細了解各名詞的概念與操作細節
以上觀念都清楚後，實際進入到 Looker Develop 的畫面就會清楚知道每個元件的功能與目的，以下例子是將電影票房收入支出資料，透過 Looker ML 將放在 Data warehouse 裡面的資料整理出來，讓我們可以透過 Explore 來做出我們想要的圖表。
在 model 的畫面上，宣告非技術人員可以使用的 view 有哪些。

（圖九）：Looker Develop model 畫面

在 View 的畫面上，將 Looker 欄位與 Data warehouse 的table 欄位進行連結。

（圖十）：Looker Develop view 畫面

<h3>Looker Admin</h3>
在 Admin 畫面上可以進行使用者的權限控管，包括哪些人員可以看到哪些 view，甚至可以細分到某個欄位設定，但有些非常細節的設定仍需要搭配 model、view 透過 LookML 來調整。另外像是連結 Database/Data warehouse、監控使用狀態、警報設定等等都可以在 Looker Admin 的畫面上來做對應的設定。

（圖十一）：Looker Admin 畫面

<h2>Looker Studio、Looker Studio Pro、Looker 比較表</h2>
詳細介紹完 Looker Studio、Looker Studio Pro、Looker 三個產品之後，最後來做比較。首先是 Looker studio 跟 Looker studio pro，我們知道 Looker studio pro 除了擁有 Looker studio 所有的功能以外，還包含了企業及規模化的管理功能與技術支援。
至於 Looker 跟 Looker studio 兩者的差異，我們先專注在紅匡的部分，Looker Studio 主要可以用來製作對應的圖表，使用的資料來源可以是 Google Sheet 這種沒有經過處理的資料。而 Looker 則有兩個很重要的功能，一個是跟 Looker Studio 一樣可以讓我們製作圖表，另一個是透過 LookML 將 Database/Data warehouse 裡面的資料整理好，方便後續製作圖表。

（圖十二）：Looker vs Looker Studio

所以其實 Looker Studio 也可以搭配使用 Looker 已經整理好的 Explore 來製作圖表，只要在Looker Studio 點選 &ldquo;Add Data&rdquo;，就可以看到 Looker 的選項，再選擇對應的 Explore（如下圖）。

（圖十三）：Looker Studio add Looker Explore data

如本文所介紹，Looker 還包含許多權限管理的功能是 Looker Studio 沒有的，像是允許哪些使用者可以用哪些 model、綁定哪些權限，或是管理連接到各類 database 等等的功能。在使用情境上，建議個人可以使用 Looker Studio 作為製作圖表的工作，而團隊使用上 Looker Studio Pro 與 Looker 都具備企業級的權限管理功能，但如果有需要進一步使用到 Data governances（資料治理）這部分的功能就需採用 Looker 平台。
下表將三者的不同之處用表格的方式做呈現，方便各位了解他們不同之處與使用的情境。 
<table>
<tbody>
<tr>
<td>
Features
</td>
<td>
Looker Studio
</td>
<td>
Looker Studio Pro
</td>
<td>
Looker
</td>
</tr>
<tr>
<td>
Price
</td>
<td>
Free
</td>
<td>
Yes, contact CloudMile sales for detail&nbsp;
</td>
<td>
Yes, contact CloudMile sales for detail&nbsp;
</td>
</tr>
<tr>
<td>
Data Governance
</td>
<td>
No
</td>
<td>
No
</td>
<td>
Yes
</td>
</tr>
<tr>
<td>
Team Authority Control
</td>
<td>
No
</td>
<td>
Yes
</td>
<td>
Yes
</td>
</tr>
<tr>
<td>
Organizations can manage assets
</td>
<td>
No
</td>
<td>
Yes
</td>
<td>
Yes
</td>
</tr>
<tr>
<td>
Support
</td>
<td>
No
</td>
<td>
Yes, contact CloudMile sales for detail&nbsp;
</td>
<td>
Yes, contact CloudMile sales for detail&nbsp;
</td>
</tr>
<tr>
<td>
Using Scenario
</td>
<td>
Personal
</td>
<td>
Team
</td>
<td>
Team
</td>
</tr>
</tbody>
</table>
&nbsp;
撰文者：Syun Huang／CloudMile Technical Trainer

introduction-to-google-data-visualization-tools-part2

Looker 跟 Looker Studio、Looker Studio Pro 系列屬於不同產品，只是同被歸類在 Looker 產品線下，本文將介紹 Looker，包括 Looker Explore、Looker Develop、Admin等重點功能。

Google 資料視覺化工具介紹 (下)：Looker、Looker Studio、Looker Studio Pro

現今商業智慧 (Business Intelligence) 已是各產業不可或缺的利器，目前市面上已有許多類型的資料視覺化工具，並且有各自相容的生態系與優勢。本篇文章將會介紹 Google 提供的三款視覺化產品 &mdash; Looker、Looker Studio、Looker Studio Pro，從三者的功能、介面說明到比較，協助您評估選用適合的工具。
首先，我們先來討論 Google 為什麼會收購 Looker 平台。許多企業會採用 Google Cloud 的 BigQuery 作為資料存放的 Data warehouse 透過 SQL 指令來進行分析大量的資料，而 Google Cloud 也提供 ETL 的工具像是 Dataflow、Dataproc，讓資料即時或批次的整理好放入 BigQuery，接著下一步便是將 Data warehouse 的資料近一步進行圖表化分析或是做 AI、ML 運算找出所需的資訊。
Looker 透過兩個重要的功能來協助 Google Cloud 的使用者，第一個是整合資料來源，讓使用者可以用一致的標準去分析散落在不同儲存資料庫的資料，來達到分析的目標。第二個是強大的分析平台，使用者可以簡單操作 UI 介面來找出所需的商業資訊。在 Google 收購 Looker 前，就有超過 350 家的客戶同時使用 Looker 與 Google Cloud 的服務，像是 Buzzfeed, Hearst, King, Sunrun, Yahoo! 等等[1]。
Google 收購 Looker 後，將商業智慧產品線統一於 Looker 之下，目前 Data Studio 已更名為 Looker Studio。同時，Google 也整合了核心的 AI 和 ML 技術在 Looker 系列產品上，讓使用者可以根據自己的需求挑選所需的商業智慧產品。
<h2>Looker Studio 介紹</h2>
首先，我們先來介紹 Looker Studio。Looker Studio 可以幫助企業將資料進行圖表化，透過視覺化的介面以及簡單的點擊滑鼠拉出我們需要的圖表，使得企業非 IT 部門的人員也能自行操作。目前 Looker Studio 免費提供大家使用，直接搜尋 Looker Studio 就可以進入到產品主畫面上，點選 Google 提供的範本來看一下有可能將你的圖表做成什麼樣子，或是點選 Blank Report 開始來製作圖表。

（圖一）：Looker Studio 主畫面

首先我們將資料進行選取，我們可以從以下選單選取想要的資料來源，第一次嘗試的使用者可以選取 Google Sheet 作為資料來源。

（圖二）：Looker Studio 資料選取

將資料送入之後，我們就可以選擇 Add Chart，照你的資料拉成想要的圖表了。

（圖三）：Looker Studio 圖表製作

經過以上的說明，大家應該都可以理解 Looker Studio 是一個很簡單的可以幫我們把 Data 送入並且輕鬆做到資料圖表化的工具。
<h2>Looker Studio Pro 介紹</h2>
Looker Studio Pro 是介於 Looker 與 Looker Studio 之間的產品，剛才介紹免費版的 Looker Studio，接下來要介紹的 Looker Studio Pro 與 Looker 則是付費服務。Looker Studio Pro 具有 Looker Studio 所有的功能，再加上企業級的功能與技術支援。
跟 Looker Studio 相比，Looker Studio Pro 可提供的附加功能如下：
<ol>
<li> 規模化管理團隊的內容訪問權限：Looker Studio Pro 透過 Team workspaces 與連結Google Cloud 專案協助企業更容易來做對應的權限管理。Team workspaces 是在 Looker Studio Pro 才有的功能，可以讓團隊共享 Looker Studio content，並有對應的權限管理功能。</li>
</ol>

（圖四）：Looker Studio Pro Team workspace

圖片來源:<a href="https://cloud.google.com/blog/products/data-analytics/an-introduction-to-looker-studio-pro" target="_blank" rel="noopener">https://cloud.google.com/blog/products/data-analytics/an-introduction-to-looker-studio-pro</a>
一般我們在 Looker Studio 所產生的內容或圖表是個人所有，當有人離開企業組織的時候就需要做對應的轉移，而在Looker Studio Pro 可以組織化地管理這些內容或圖表，透過連結 Google Cloud 專案，讓這些內容存放在組織內，就不會受到人員流動影響。
<ol start="2">
<li> 技術支援：<a href="https://cloud.google.com/support?sjid=1879891124151077103-AP" target="_blank" rel="noopener">當有購買 Google Cloud Customer Care 方案的用戶，便可以享有相對應的技術支援。</a></li>
</ol>
介紹完 Looker Studio 和 Looker Studio Pro，下一篇將繼續為您介紹 Google 另一個重要的資料視覺化平台 Looker，並進行三者的比較。接續閱讀：<a href="https://mile.cloud/zh/resources/blog/introduction-to-google-data-visualization-tools-part2_651" target="_blank" rel="noopener">Google 資料視覺化工具介紹 (下)：Looker、Looker Studio、Looker Studio Pro</a>
資料來源：<a href="https://cloud.google.com/blog/topics/inside-google-cloud/expanding-our-platform-for-business-intelligence-and-embedded-analytics">https://cloud.google.com/blog/topics/inside-google-cloud/expanding-our-platform-for-business-intelligence-and-embedded-analytics</a>
撰文者：Syun Huang／CloudMile Technical Trainer

introduction-to-google-data-visualization-tools-part1

現今商業智慧 (Business Intelligence) 已是各產業不可或缺的利器，目前市面上已有許多類型的資料視覺化工具，並且有各自相容的生態系與優勢。本篇文章將會介紹 Google 提供的三款視覺化產品 — Looker、Looker Studio、Looker Studio Pro，從三者的功能、介面說明到比較，協助您評估選用適合的工具。

Google 資料視覺化工具介紹 (上)：Looker、Looker Studio、Looker Studio Pro

根據 Google 的調查顯示，資料工作者有 45% 的工作時間用於資料前處理，包含轉換和清洗資料。隨著資料量的不斷增長，資料類型、格式和來源的增加以及流量的不確定性也提升了資料處理的複雜度，為資料工作者帶來了全新的挑戰。
有效地處理和管理資料對於企業的成功至關重要。Data Pipeline 可以幫助企業自動化資料處理過程，減少手動錯誤並提高資料品質和處理效率，從而釋放資料工作者，讓他們專注於商業洞察和挖掘市場機會，不必再被束縛於高重複性的工作中。瞭解不同的 Data Pipeline 設計模式和架構類型可以幫助您更好地應對不同的資料處理挑戰，提高您的工作效率和資料處理能力，重新聚焦於創造更好的服務。
本文旨在向您介紹 Data Pipeline 的架構設計概況，您將會學到：
<ul>
<li style="font-weight: 400;" aria-level="1">Data Pipeline 是什麼？</li>
<li style="font-weight: 400;" aria-level="1">Data Pipeline 有哪些優勢？</li>
<li style="font-weight: 400;" aria-level="1">Data Pipeline 有哪些組成要素？</li>
<li style="font-weight: 400;" aria-level="1">Data Pipeline 的類型</li>
<li style="font-weight: 400;" aria-level="1">在設計 Data Pipeline 的過程中，您需要...</li>
<li style="font-weight: 400;" aria-level="1">在 Google Cloud 上的 Data Pipeline 架構實例</li>
</ul>

<h2>Data Pipeline 是什麼？</h2>

圖一：Data Pipeline 資料處理步驟

簡單來說，Data Pipeline 涵蓋了企業內部資料流動的全過程，是一系列的資料處理步驟。從英文字面上看，&ldquo;Pipeline&rdquo; 翻譯成中文有兩層意思，一層作名詞譯為管道，二層作動詞譯為用管道運輸。就像是一條貫穿整個資料產品或資料系統的「管道」，資料是管道中承載的主要內容，Data Pipeline 連接了各種資料處理和分析的環節，比如過濾、遮蔽、整合和標準化，使整個龐大的系統變得有條不紊，易於管理和擴展。
當面對大量不同格式、來源、類型的資料時，設計和搭建一個高效的 Data Pipeline 是非常重要的。這可以幫助我們自動化地整合、轉換和管理資料，並且更容易地延展出附加功能，比如自動產生報表、自動進行用戶行為預測、做更複雜的分析等。
一個高效的 Data Pipeline 不僅可以讓工作事半功倍，更重要的是可以解決許多複雜問題。在現實世界中，Data Pipeline 已被廣泛應用於各個領域，例如機器學習、任務分析、網絡管理和產品研發等。像 Meta、Google、Netflix 等資料驅動型的科技巨頭，他們的產品開發過程中都有龐大的資料工作團隊負責設計、開發和維護整個產品的 Data Pipeline。
<h2>Data Pipeline 有哪些優勢？</h2>
Data Pipeline 讓您可以整合來自不同來源的資料，並將其轉換為可分析的格式。它們消除了資料孤島，使您的資料分析更加可靠和準確。以下是 Data Pipeline 的一些主要優點：
<h3>全面的資料整合</h3>
Data Pipeline 可以整合不同來源的資料集，從多個來源交叉檢查資料並糾正任何不一致之處。例如，假設一個客戶在您的電商網頁和應用程式中都進行了購物，但在應用程式中不小心拼錯了名字，透過 Data Pipeline，這種不一致性可以在資料被送往分析之前被糾正。
<h3>提升資料品質</h3>
Data Pipeline 可以幫助管理和控制資料品質，包括資料清洗、驗證和修正錯誤等。這有助於提高資料品質和準確性，並減少資料分析中的錯誤和偏差。此外，Data Pipeline 消除了冗餘資料並確保整個組織的資料品質保持一致。
<h3>高效的資料處理</h3>
在轉換和載入資料方面，資料工作者通常需要執行大量重複的任務。透過 Data Pipeline 將這些重複性工作自動化，讓資料工作者能夠更快地處理原始資料，集中精力於建立商業洞察。
<h3>可擴展性</h3>
Data Pipeline 的設計可以根據資料的增加或變化進行擴展，保證系統的可擴展性。這使得資料處理能夠適應不斷變化的業務需求和資料增長。
<h3>便於管理和監控資料流</h3>
Data Pipeline 可以提供監控和管理工具，幫助資料工作者即時跟蹤資料流和識別潛在問題。這有助於保持系統的穩定性和可靠性，並快速解決故障。
<h2>Data Pipeline 有哪些組成要素？</h2>

圖二：Data Pipeline 組成要素

<h3>資料來源</h3>
資料來源可以是應用程式、IoT 裝置，或不同類型的資料庫。不同的來源可以將資料主動推送至 Data Pipeline，而 Data Pipeline 也可以使用 API 呼叫、Webhook 或資料複寫程序從資料來源擷取資料。您可以即時擷取資料，也可以設計排程從來源收集資料。
資料格式有很多種，不同格式有各自適合的資料處理架構和工具。典型的 Data Pipeline 中通常會同時包含多種資料類型，可以分為以下幾類：
<ul>
<li style="font-weight: 400;" aria-level="1">Batch data（批次資料）：是指按照一定時間間隔或數量規定，將資料一次性收集起來形成資料集再進行處理的資料。Batch data 通常以文件的形式存在，例如 CSV、JSON、AVRO、PARQUET 等格式，收集方式分為傳統的批次處理 (batch processing) 或微批次處理 (micro-batch processing) 。由於現今的應用程式傾向產生連續的資料，因此微批次處理 (micro-batch processing) 是較推薦的資料收集方式。</li>
<li style="font-weight: 400;" aria-level="1">Stream data（串流資料）：指的是源源不斷從各種來源生成的即時資料，例如傳感器、網站、社交媒體平台或移動設備。這些資料即時傳輸和處理，且大小不大 (約幾 KB)。Stream data 可以是各種格式，包括文本、圖像、音訊和影片等，這些資料需要依照個別記錄或移動時段，按順序以遞增的方式處理，通常會使用串流處理服務（如 Apache Kafka、Google Pub/Sub、Azure Stream Analytics 或 Amazon Stream Data）進行處理，並用於相互關聯、彙總、篩選和取樣等多種分析。</li>
<li style="font-weight: 400;" aria-level="1">Transaction data（交易資料）： 是指記錄了交易資訊的資料，例如在資料庫中存儲的所有交易、訂單、購買記錄等資料。常見的 Transaction data 包括關聯式資料庫 (RDBMS)、NoSQL、大數據等。</li>
<li style="font-weight: 400;" aria-level="1">Flat file（平面檔案）：包含 PDF 或其他非表格格式的平面檔案。例如醫療或法律文件。</li>
</ul>
<h3>資料處理過程</h3>
隨著原始資料流經 Data Pipeline，資料會發生變更，例如排序、格式化、刪除重複資料、糾錯和驗證等，以變得更有商業價值。資料處理過程通常可以劃分成三類：
<ul>
<li style="font-weight: 400;" aria-level="1">ETL （Extract 提取， Transform 轉換，Load 載入）</li>
</ul>
ETL 是指將資料從來源系統中提取出來，對其進行轉換（清理、格式化、重組等）後，再將其載入到目標系統中的過程。ETL 將資料從不同的源系統中整合並進行統一的轉換和加工，使資料能夠被更好地分析和利用。
<ul>
<li style="font-weight: 400;" aria-level="1">ELT （Extract 提取，Load 載入，Transform 轉換）</li>
</ul>
隨著高性能的 Data Warehouse 如 BigQuery 的出現，其具有處理大型資料集的能力，由此衍生出了一種新的資料整合策略&mdash;&mdash;ELT，直接將原始、未處理的資料發送到 Data Warehouse，依賴 Data Warehouse 在載入資料後對其進行轉換和加工。 然而，ELT 無法在載入之前刪除敏感資料，因此從資料安全、合規性和資料品質的角度來看，它並不是完美的。對於許多企業而言，他們會選擇 ETLT 的混合方法。
<ul>
<li style="font-weight: 400;" aria-level="1">ETLT （Extract 提取，Transform 轉換，Load 載入，Transform 轉換）</li>
</ul>
ETLT 是 ETL 和 ELT 的混合體。在 ETLT 中，資料首先被提取並經過轉換處理，然後被載入到一個中間儲存位置，然後再進行進一步的轉換和載入到目標系統中。這種方法結合了 ETL 和 ELT 的優點，可以在資料準備和加工過程中提供更多的靈活性和控制，並且允許將大量資料移動到不同的系統和環境中。
<h3>目的地</h3>
Data Pipeline 的目的地可以是 Data Warehouse、Data Lake，或其他商業智慧或機器學習模型。繼續閱讀，您會瞭解到不同目的地的架構設計和區別。
<h2>Data Pipeline 的類型</h2>
Data Pipeline 主要有兩種類型，批次處理 (Batch Processing) 和串流處理 (Stream Processing) 。
<h3>批次處理 (Batch Processing)</h3>
批次處理的 Data Pipeline 是指將大量資料分批次進行處理，通常適用於一些定期或計劃性的任務，例如批量匯入和匯出資料、生成報告等。當所有資料轉換完成後，Data Pipeline 會將全部資料載入 Data Warehouse 或其他類似的資料存放區。
批次處理的 Data Pipeline 運行頻率較低、時間較短，通常在離峰時段運行，需要較高的電腦運算能力。但由於 Batch data 通常不需要立即處理，因此可以對其進行離線處理和優化，以提高效率和降低成本。下圖展示了批次處理並將資料載入 Data Warehouse 的架構設計邏輯：

圖三：批次處理並將資料載入 Data Warehouse 的架構設計邏輯

Data Warehouse 的主要目的是支持歷史資料報告和分析，因此可以通過批次處理的方式定期更新資料。Data Warehouse Pipeline 通常採用傳統的 ETL（Extract, Transform, Load）流程，通常會對資料進行嚴格的驗證和清理，以確保資料的品質和一致性，並根據預定義的資料模型和架構進行儲存和管理。
<h3>串流處理 (Stream Processing)</h3>
串流處理的 Data Pipeline 能夠即時地處理和分析串流資料，並應對資料的高變化率和高速率。它需要可靠、低延遲的網路連接，而對於電腦的運算能力則沒有較高要求。此外， Pipeline 本身必須具備高容錯性。即使有些封包丟失或按照不同的順序到達，您的 Data Pipeline 應該能夠正常處理資料。下圖展示了串流處理並將資料載入 Data Lake 的架構設計邏輯：

圖四：串流處理並將資料載入 Data Lake 的架構設計邏輯

Data Lake 的主要目的是支持即時資料分析和應用，因此需要能夠即時處理和分析串流資料。Data Lake Pipeline 通常采用 ELT（提取、載入、轉換）流程，先將資料快速載入到 Data Lake 中，再進行必要的轉換和加工處理，主要目的是支持即時資料分析和應用。
<h2>設計 data pipeline 的四大考慮事項</h2>
<h3>選擇符合需求的設計</h3>
Data Pipeline 的設計完全取決於您的最終需求。真的需要即時分析嗎？或者一個接近即時的系統就足夠了？您是在建立雲原生解決方案還是從本地系統遷移？回應這些問題可以幫助您瞭解自身需求。
一個 Data Pipeline 可以簡單到只有一個步驟，也可以複雜到包含多個資料轉換和處理步驟。現在有許多新技術不斷出現，提供更堅固、更快速的 Data Pipeline 方案。其中，Google BigLake 是 Google Cloud 推出的全新儲存引擎，提供了一種全新的資料載入方法用以統一 Data Warehouse 和 Data Lake，讓 BigQuery 和開源框架（例如 Spark）能夠以精細的訪問控制方式訪問資料。它能夠在不同雲廠商的存儲服務（例如 AWS S3、Azure Data Lake）和開放格式（例如 Apache Iceberg）中提供高速的查詢性能。這樣一來，使用者可以更快地處理和查詢資料，讓整個資料處理過程更流暢。
<h3>確認 Data Pipeline 的環節</h3>
當您在設計 Data Pipeline 時，您需要確認以下環節：
<ul>
<li style="font-weight: 400;" aria-level="1">確認來源資料的格式。</li>
<li style="font-weight: 400;" aria-level="1">選擇要使用的堆疊 (stack) 。</li>
<li style="font-weight: 400;" aria-level="1">選擇要使用的資料轉換工具。</li>
<li style="font-weight: 400;" aria-level="1">選擇資料處理過程：ETL、ELT 或 ETLT。</li>
<li style="font-weight: 400;" aria-level="1">決定如何管理轉換後的資料。</li>
<li style="font-weight: 400;" aria-level="1">決定如何監控和管理變動。</li>
</ul>
我們強烈建議您將 Data Pipeline 的設計保持簡單且模組化，以確保您清楚理解所設計的架構和資料轉換過程。簡單且模組化的設計能夠使開發和疑難排解的過程變得更輕鬆，對於系統的維運和升級皆有顯著的好處。
<h3>考量成本</h3>
在設計 Data Pipeline 架構時的另一個重要考量因素是成本。通常，相較於批次處理而言，串流處理的成本更高。熟悉每個環節的詳細計價並提前進行成本分析，對於選擇合適的架構設計非常重要。
<h3>確保彈性</h3>
在設計 Data Pipeline 時，確保架構設計的彈性非常重要。資料處理和存儲的過程需要能夠彈性應對不斷增長的資料量，且需要考量到資料流的速率和流量。如果架構設計缺乏彈性，當資料量增加、資料類型變化、新技術出現或資料流程發生變化時，可能需要重新設計和實現整個架構，這會浪費大量的時間和資源。有了彈性的架構設計，您可以更輕鬆地應對這些變化和需求，將新技術和新的資料來源整合到現有的架構中，並且可以更快速地進行故障排除和維護。
<h2>在 Google Cloud 上的 Data Pipeline 架構實例</h2>
本段落將向您展示在 Google Cloud 上針對 Batch ETL、資料分析、機器學習三種應用場景搭建 Data Pipeline 的架構範例。很重要的是，架構設計完全取決於您的需求。每個架構都會依據不同需求而有不一樣的設計。
<h3>批次處理的 ETL (Extract, Transform, Load) Pipeline</h3>

圖五：批次處理的 ETL (Extract, Transform, Load) Pipeline

批次處理的 Data Pipeline 其資料來源可能是銀行對帳單、研究報告、發票明細或採購單等，它們不需要被立即處理且數量龐大。在此應用場景下，最經典且簡單的架構由 Cloud Storage、Dataflow 和 BigQuery 組成 。Cloud Storage 作為針對物件的儲存服務，透過串聯 Dataflow 將資料載入 BigQuery 進行分析。這種方法的簡單性使得這種模式在簡單的轉換過程中可以重複使用並且很高效。然而，簡單的架構不一定適合所有應用場景，根據不同需求您會需要考慮更多細節。
<h3>資料分析的 Pipeline</h3>

圖六：資料分析的 Pipeline

資料分析的 Data Pipeline 是一個複雜的過程，可能同時包含批次處理或串流處理，需要多個服務相互串接來處理資料。設計的複雜性可能會增加項目的時間和成本，但為了實現業務目標，仔細審查和構建每個組件是必要的。
<h3>機器學習的 Data Pipeline</h3>

圖七：機器學習的 Data Pipeline

Google Cloud 上的機器學習架構是一個全面的設計，用戶可以在機器學習的全過程中利用 Google Cloud 服務來構建和處理資料。例如，Vertex AI 是 Google Cloud 上的一個全託管 AI 平台，提供您需要的所有機器學習工具，旨在簡化機器學習模型的開發、部署和管理。它提供了一個端到端的解決方案，服務覆蓋了從資料準備到模型訓練、部署和監控的整個機器學習生命週期。Vertex AI 還提供了自動化工具，可以幫助用戶優化模型的參數，從而提高模型的性能。Vertex AI 的特點是易於使用且高度可靠，可以支持多種機器學習框架和開發語言。
<h2>您的最佳雲端技術夥伴</h2>
雲端的資料處理服務能夠提供高彈性，並且在資料安全和隱私方面提供強大的支持。總體而言，資料上雲可以更好地支持企業的業務需求，提升企業管理的投入產出比，降低不確定性帶來的風險。您可以根據需求靈活地調整資源的使用，更輕鬆地構建高效、安全和可靠的資料處理架構，以應對不斷增長的資料量和變化的需求。CloudMile 可以在此過程中協助您進行完整的架構設計，根據您的成本和需求提供解決方案。<a href="https://mile.cloud/zh/contact" target="_blank" rel="noopener">聯絡我們，開啟您的資料轉型之旅。</a>
撰文者：Paggie Chen／熱衷雲端技術和數字化轉型之旅
References:&nbsp;
<a href="https://cloud.google.com/blog/products/data-analytics/solve-your-data-analytics-etl-or-machine-learning-challenges" target="_blank" rel="noopener">Solve your Data Analytics, ETL or Machine Learning challenges | Google Cloud Blog</a>&nbsp;
<a href="https://www.ibm.com/tw-en/topics/data-pipeline#:~:text=pipelines%20and%20IBM-,What%20is%20a%20data%20pipeline%3F,usually%20undergoes%20some%20data%20processing" target="_blank" rel="noopener">What is a data pipeline | IBM</a>.&nbsp;
<a href="https://cloud.tencent.com/developer/article/1180346#:~:text=Data%20Pipeline%EF%BC%8C%E4%B8%AD%E6%96%87%E8%AF%91%E4%B8%BA,%E5%8C%96%E3%80%81%E8%87%AA%E5%8A%A8%E5%8C%96%E7%9A%84%E7%B3%BB%E7%BB%9F%E6%96%B9%E6%B3%95%E3%80%82" target="_blank" rel="noopener">科技巨头都爱的Data Pipeline，如何自动化你的数据工作？ - 腾讯云开发者社区</a>
<a href="https://aws.amazon.com/what-is/data-pipeline/?nc1=h_ls" target="_blank" rel="noopener">What is Data Pipeline?</a>&nbsp;

understand-data-pipeline-automation-etl-data-analytics

Data Pipeline 可以幫助企業自動化資料處理過程，減少手動錯誤並提高資料品質和處理效率！本文帶你瞭解不同的 Data Pipeline 設計模式和架構類型、有哪些優勢、有哪些組成要素、 在 Google Cloud 上的 Data Pipeline 架構實例等。

如何將資料工作自動化？一文讀懂 Data Pipeline，解決您的資料分析、ETL 或機器學習挑戰

有時候 Query 效能會與我們期望的相差許多，優化 Query 效能可以有效增加例行作業的效率。本篇文章我們為您整理了企業級資料倉儲 Google Cloud BigQuery 所提供的 Query 效能優化技巧，適合目前有在使用 BigQuery 或是對於 BigQuery 有興趣的使用者參考。
<h2>Query 效能的評估要點</h2>
在評估 Query 效能時，有以下幾個影響的因素：
<ul>
<li style="font-weight: 400;" aria-level="1">Input 的數據及數據源 (I/O)：你的查詢會讀取多少資料量</li>
<li style="font-weight: 400;" aria-level="1">節點間的傳輸：你的查詢會有多少資料量到下一階段？每個 slot 會被分配到多少資料</li>
<li style="font-weight: 400;" aria-level="1">運算：您的查詢需要多少 CPU？</li>
<li style="font-weight: 400;" aria-level="1">Output：你的查詢會寫出多少資料量</li>
<li style="font-weight: 400;" aria-level="1">查詢反面模式：您的查詢是否遵循 SQL 最佳實踐?</li>
</ul>
關於上述幾個評估要點，BigQuery 通常會在 query plan 提供解答，包括執行中的統計資料（如讀取的位元數及虛擬 CPU 使用的時間），同時也會顯示不同的執行階段，可幫助使用者診斷並改善 Query 效能。
此外，不論是什麼系統，提到優化效能往往需要一些取捨。例如，使用進階的 SQL 語法可以進行較複雜的計算，但同時也減少了 SQL 的可讀性，尤其是對非 SQL 專家；或是針對非關鍵性的工作進行 micro-optimizations，反而無法專注於開發應用程式新功能或是創造更好的優化成效。因此，建議針對手邊資料分析 pipeline 最重要的工作進行優化，以取得最佳的 ROI。
另外，即便是經過優化的 Query 效能也可能會因為 slot contention 而受到影響。舉例來說，如果現在有 10,000 個 slot 可分配給 6 個專案，並非每個專案都能分配到 2,000 個 slots，可能因此導致 Query 效能下降。如果經評估後，您的 Query 已無法再進一步優化，可考慮選用 <a href="https://cloud.google.com/bigquery/docs/reservations-intro">BigQuery Reservation </a>功能，依據 Query 需求切換為 on-demand pricing（以用量計價）或是 flat-rate pricing（固定費率）方案，獲得最大的彈性與資源優化，請參考下方段落說明。
<h2>Capacity 及 Concurrency</h2>
BigQuery 把執行 SQL queries 所需的運算 capacity 拆解成一個個單位，稱為 slot，並依據 Query 的大小及複雜程度，計算每次 Query 需要多少個 slot，而 BigQuery 會依據使用者過往的使用狀況及花費，自動管理 Query 所需的 slot quota。
一般情況下，一個專案會使用到的 slot 數量其實不多，如果單純因為 Query 速度很慢而購買更多的 slot 並不等於能獲得更快的 query 效能，根本原因可能是 Query 沒寫好。但 Google 也表示，進行較大型或複雜的 Query 或是高度並行作業時，預留眾多的 slot 或許能改善 Query 的效能，在這樣的情況下，企業如想進一步改善 Query 效能，除了優化資料模型及 Query 之外，也可以考慮購買更多預留的 slot。
接下來分享 BigQuery 針對 Query 提供的兩種計價方式，分別是 <a href="https://cloud.google.com/bigquery/pricing#on_demand_pricing" target="_blank" rel="noopener">on-demand pricing</a>（以量計價）及<a href="https://cloud.google.com/bigquery/pricing#flat_rate_pricing" target="_blank" rel="noopener"> flat-rate pricing</a>（固定費率）：
<table style="width: 652px; height: 192px;">
<tbody>
<tr style="height: 46px;">
<td style="width: 122.188px; height: 46px;">
方案
</td>
<td style="width: 513.812px; height: 46px;">
計費方式
</td>
</tr>
<tr style="height: 82px;">
<td style="width: 122.188px; height: 82px;">
On-demand pricing
</td>
<td style="width: 513.812px; height: 82px;">
此種計費模式會依照企業用量來收費，系統會根據各項查詢處理作業的位元組數來進行收費。BigQuery 每個月處理的前 1 TB 查詢資料為免費額度，超過額度後，則是每 TB 收取 5.75 美元（台灣 asia-east1 的定價）。
</td>
</tr>
<tr style="height: 64px;">
<td style="width: 122.188px; height: 64px;">
Flat-rate pricing
</td>
<td style="width: 513.812px; height: 64px;">
採用此種計價模式，使用者每月會支付固定的資料分析費用，必須購買運算單元（虛擬 CPU），購買 CPU 時，您必須購買可用於執行查詢的專用處理容量。
</td>
</tr>
</tbody>
</table>
&nbsp;
<h2>Query 規劃與時間軸</h2>
以下，將介紹 BigQuery 提供給用戶做分析 Query 的工具，讓用戶可以查看 Query 在每個階段的使用量。
首先，透過BigQuery介面，使用者可以檢視現階段正在 BigQuery 平台上進行的 Query 進度及時間軸，你可透過 jobs.get API 來取得相關資訊；也可以搭配使用開源工具 BigQuery Visualiser，視覺化呈現 BigQuery 工作的執行階段。
當 BigQuery 在執行 Query 工作時，會將陳述性的 SQL 語法轉換為圖像，而圖像會細分為一系列的查詢階段，每個階段又會細分成更小的執行階段。 BigQuery 使用的是高度分散的平行架構來進行這些 Query 工作，並針對可能在同步進行的 Query 工作創建模組。

當 BigQuery 在執行 Query 工作時，會將陳述性的 SQL 語法轉換為圖像。

image 1

另外一個可參考的工具則是 Query 時間軸，會顯示已完成、待辦中及處理中的工作單位。另外同個 Query 可能同時會有不同的執行階段，˙因此時間軸呈現的會是 Query 的整體進度。

Query 時間軸會顯示已完成、待辦中及處理中的工作單位。

image 2

最後，企業如要預估每次 Query 所耗費的運算資源，可以查看查詢所耗費的 slot seconds，slot seconds 越低越好，代表有更多資源可以分配給同專案中的其他 Query 工作。
總結來說，優化 Query 效能時，可從成本、需求優先順序及 Query 大小來進行綜合評估。在 slot 資源方面，BigQuery 也提供企業兩種計費方式，企業可依據自身需求選擇單一方案或是混搭方案還達到最佳的資源分配。最後，BigQuery 所提供的 Query 規劃與時間軸數據，可以幫助企業了解 BigQuery 如何執行 Query 工作，以及是否有特定的階段會佔用過多資源等資訊，作為優化 Query 的數據來源。
關於更多如何改善 Query 效能的最佳實踐，甚至是雲端資源與成本優化方式，歡迎聯繫 CloudMile，將有專人為您解答。
本文編譯自 Google Cloud Blog <a href="https://cloud.google.com/bigquery/docs/best-practices-performance-overview" target="_blank" rel="noopener">https://cloud.google.com/bigquery/docs/best-practices-performance-overview</a>

bigquery-query-performance-optimization-best-practice

本篇文章我們為您整理了企業級資料倉儲Google Cloud BigQuery所提供的Query效能優化技巧。優化 Query 效能時，可從成本、需求優先順序及Query大小來進行綜合評估。在 slot 資源方面，BigQuery提供企業兩種計費方式，可依據自身需求選擇單一方案或是混搭方案。最後，BigQuery 所提供的Query規劃與時間軸數據，可以幫助企業了解 BigQuery 如何執行 Query 工作，以及是否有特定的階段會佔用過多資源等資訊，作為優化 Query 的數據來源。

優化BigQuery查詢效能的最佳實踐

Query 效能不如預期？為您統整 BigQuery 查詢效能優化的最佳實踐 

面臨市場變動快速、競爭日益激烈，企業紛紛意識到數據驅動決策的重要性。除了將龐大的數據進行彙整、蒐集外，如何讓企業各部門更容易理解數據背後的意義，也就是現在常說的「商業智慧」（Business Intelligence），已是各產業不可或缺的利器。市面上有許多類型的 BI 工具，各有各自相容的生態系與優勢。本篇將為您統整 Google 旗下的 BI 平台 － Looker 四大特色。
<h2>Looker 是什麼？Google 為什麼會買下它？</h2>
<a href="https://www.looker.com/google-cloud/" target="_blank" rel="noopener">Looker</a> 是一個企業級的 BI 智慧商業平台，可串接資料庫，將企業的資料以視覺化的方式呈現。Looker 的特點在於可以串接多種不同生態系的數據資料（幾乎 Google、AWS 所有資料庫都相容），將數據統一彙整做商業分析。Google 在 2020 年宣布收購 Looker，讓 GCP 生態系有更多樣性的數據解決方案，藉由串接至 Google 強大的數據倉儲資料庫 &ndash; BigQuery， 建構更完整的視覺化資料分析平台。

Google 在 2020 年宣布收購 Looker 平台，讓 GCP 生態系有更多樣性的數據解決方案。

藉由串接至 Google 強大的數據倉儲資料庫 – BigQuery，搭配 Looker 平台支援更完整的視覺化資料分析平台，。

<h2>Looker 四大特色</h2>
Looker 主要有四大優勢，能讓企業更有效率地進行數據分析：
<h3>1. 支援不同生態系的資料源：</h3>
Looker 支援超過 60 種資料倉儲系統，無論你是使用 GCP、AWS、或是其他地端的資料庫用戶，幾乎都能與 Looker 串接製作資料視覺化報表。
<h3>2. 彈性的權限設定與操作</h3>
當今企業內部在報表產出的流程，多半需仰賴 IT 部門人員，影響商業分析與決策效率。 Looker 提供簡易的操作介面，讓無論是企業內部的技術人員或是非技術人員，都可以透過從龐大數據量中做到商業分析。非技術人員可以自行選取想要呈現在報表上的維度及象限，製作出易懂的資料視覺化報表，不需透過 IT 人員即可自行產出；而技術人員則可更近一步透過 LookML 語法設定客製化的圖表呈現方式。而 Looker 本身具有很強大的權限功能，可以根據不同部門的使用者客製化設定能取得的資料，顆粒度能細緻到「欄位」層級。

LookerML 支援版本管理機制，可以集中管理寫在 LookerML 的商業邏輯。

<h3>3. 提供預建立的資料範本 Looker Blocks</h3>
Looker 平台提供 <a href="https://cloud.google.com/looker/docs/blocks?_ga=2.30452415.1645889694.1671412950-1975299771.1663314265" target="_blank" rel="noopener">Looker Blocks</a> 預建立的資料分析範本，讓企業可根據不同需求、用途和分析目標直接進行套用，大幅縮短整體視覺化報表產出的時間，也降低操作難度，讓企業能更加專注於開發工作，工作流程更加順暢。
<h3>4. 與 Google 生態系相容性高</h3>
現今許多軟體公司都推出自家的 BI 智慧商業平台，在這些平台之中，若您的公司也是使用 GCP 的雲端生態系統， Looker 可與所有 Google 的資料數據庫串接，靈活度大幅提升，讓您無需切換平台進行資料分析。今年 Cloud Next 大會上，Google 也宣布以 Google Cloud 為技術核心的 Looker 版本目前已提供預覽，未來將會與 Google Console 平台整合，並支援安全政策與管理服務等雲端基礎架構。
綜合這四項特色，Looker 能協助您的企業用更簡單且快速的方式串接資料數據庫，進行視覺化資料分析，輔助您更有效地從龐大的數據中擷取商業價值。

Looker 平台提供 Looker Blocks 預建立的資料分析範本，讓企業可根據不同需求、用途和分析目標直接進行套用。

image 3

<h2>結合 GCP BigQuery 與 Looker 提升資料分析效益</h2>
Google Cloud 旗下知名的雲端資料倉儲平台 BigQuery，為全代管、無伺服器的服務，可執行 PB 級規模的數據分析作業，同時也內建機器學習技術，讓用戶能依照自己的需求進行更深度的資料分析，搭配使用 Looker 資料視覺化功能，便能提供企業從資料儲存、分析到視覺化的完善服務。結合使用 BigQuery 與 Looker 的具體優勢如下：
<h3>建立數據生態系</h3>
BigQuery 全代管、無伺服器等特性，提供企業低成本做數據洞察、ML 預測分析等服務，再結合 Looker 的視覺化、API first 等等的特性，為您的企業提出有效的商業見解。
<h3>服務整合性高</h3>
企業善用 BigQuery 作為資料倉儲，不僅能匯集跨雲、跨地端數據源，還能輕鬆透過 Looker 使用 BigQuery 的資料，高度整合工具使用，也能透過 Looker 細緻的權限功能限制使用者權限。
<h3>提升資料易讀性</h3>
BigQuery 擁有強大的資料分析力，以程式語言的形式支援分析結果，串接至 Looker 後，得以讓資料分析結果的易讀性大幅提升，即使非技術人員也可以輕易理解。
<h2>歡迎聯繫 CloudMile，將有專人為您服務</h2>
Looker 是企業級的商業視覺化平台，讓您的企業內部不論是行銷或是資料科學家，都可以輕鬆地將龐大的資料化繁為簡，找出數據中的商業價值，更有效的將資料呈現給內部或是外部的利害關係人，落實企業數據驅動決策的商業目標。若您想了解更多有關 Looker 的商業應用，或是期望做數據轉型，歡迎填寫表單或是致電萬里雲，我們最專業的團隊將會為您解答。

想更了解什麼是 GCP BigQuery，以及如何和 Looker 平台結合來提升資料分析效益？歡迎點擊閱讀 CloudMile 獨家的數據觀點文章。

看更多數據分析文章

what-is-looker-gcp-benefits

商業智慧(BI)已是各產業不可或缺的利器！本篇文章為您簡介Google旗下Looker平台，包括Looker四大主要優勢，如何讓企業更有效率地進行數據分析，以及GCP BigQuery與Looker搭配使用，提升企業的資料分析效益。

【企業級BI平台】Looker 是什麼？Google 買下 Looker 為商業智慧分析帶來巨大優勢！

Looker 是什麼？Google 買下 Looker 為商業智慧分析帶來巨大優勢！

Google Cloud 旗下知名的大數據分析平台 BigQuery，如今早已深受許多企業青睞，作為自家的雲端倉儲和資料分析工具。這次 CloudMile 文章將會比較 BigQuery 和傳統資料倉儲的差異、BigQuery 優勢，以及價格計算方式，讓有興趣的企業可以對 BigQuery 有更多認識。
<h2>BigQuery 是什麼</h2>
首先，讓我們先簡單了解 BigQuery 是什麼？BigQuery 是 Google Cloud 推出的雲端資料分析服務，可執行 PB 級規模的數據分析作業，像是大家日常會使用的 Google 搜尋引擎、Google Ads 服務，背後就是由 BigQuery 作為資料處理與分析的核心技術。BigQuery 同時也內建機器學習技術，讓用戶能依照自己的需求進行更深度的資料分析。
去年，Google 推出 BigQuery Omni 服務，能支援跨雲的資料分析，讓用戶可以使用熟悉的 BigQuery 使用者介面以及標準 SQL 語法，以較低的成本來存取並且安全地分析儲存在 Google Cloud、Amazon Web Services (AWS) 和 Azure 的資料。混合多雲趨勢勢在必行，BigQuery 提供單一平台存取跨雲資料的解方，解決客戶資料儲存於不同雲平台、難以整合分析的痛點。

Google BigQuery Omni 服務，可支援跨雲資料存取與分析。

簡單了解 BigQuery 之後，讓我們來看看 BigQuery 這個 GCP 明星產品，究竟有哪些優點？
<h2>BigQuery 四大優點</h2>
<ol>
<li>
<h3> 速度快：查詢或分析 TB/PB 等級的資料最快可達到「秒」的等級。</h3>
</li>
<li>
<h3> 費用省：省去維運硬體成本；每月都有 Free credit/Usage；依使用情形提供對應折扣。</h3>
</li>
<li>
<h3> 應用多：支援各種 BI（Business Intelligence）工具；協同第三方強化資料整合至分析應用。</h3>
</li>
<li>
<h3> 彈性大：無需先定義使用空間；支援多種語法；多元存取方式。</h3>
</li>
</ol>
除了上述四大優點，BigQuery 採用類似 SQL 的語法，讓用戶查詢資料時更易上手，資料存取也經過加密處理以強化安全機制，而大家最在意的 DR（Disaster Recovery）能力，BigQuery 則提供資料多份複製的功能，以避免資料遺失的風險。了解 BigQuery 所具備的優勢與功能後，或許有些人會好奇，我已經導入傳統資料倉儲了，為什麼還會需要 BigQuery 呢？我們從以下四個面向，帶您比較傳統資料倉儲與 BigQuery 雲端資料倉儲的不同之處。
延伸閱讀：<a title="BigQuery教學：成本優化三大指南！" href="https://mile.cloud/zh/resources/blog/three-Guides-BigQuery-cost-optimization-enterprises-spend-less-and-use-better_24" target="_blank" rel="noopener">BigQuery教學：成本優化三大指南！</a>
<h2>BigQuery 資料倉儲與傳統資料倉儲四大差異</h2>
<h3>1. 軟硬體設備擴充彈性：</h3>
傳統資料倉儲往往需花費許多費用與時間在建置內部機房、購買軟硬體設備，再進行軟硬體安裝。隨著市場環境競爭日益激烈，企業內部資料量累積速度愈來愈快速，數據分析需求愈來愈即時，企業 IT 部門即使不斷採購新的軟硬體設備，也無法做到短時間內的分析效能升級。但企業如果能搭配使用雲端資料倉儲 BigQuery，便無需煩惱基礎架構升級、管理或安全防護設定，還能快速分析多達 PB 級的資料量，並彈性地配合資料量來調整作業規模。
<h3>2. 成本與計費方式：</h3>
如同前述，傳統資料倉儲在前期就需要相當龐大的軟硬體建置成本，但後續的使用需求卻難以準確評估，因此許多企業會面臨到資源不足或是資源閒置的情況，每當遇上定期的設備升級時，便會開始評估是否要轉向 BigQuery 這類的雲端資料倉儲。BigQuery 是根據使用量計費，每個月都有免費的 10 GB 儲存量和 1 TB 的查詢額度。接下來會有 BigQuery 計費概念的介紹，供企業參考評估。
補充說明，不同於傳統資料庫在進行分析時，會把所有的資料全部掃描過一遍再篩選所需的項目，BigQuery 在成本優化方面能支援 Partitioned table 功能，可以依照時間做切片，來 query 特定的資料段，並且在加速分析效率的同時，還能有效節省成本。
<h3>3. 進階分析技術門檻：</h3>
BigQuery 內建機器學習功能－BigQuery ML，讓數據資料學家和資料分析師可以直接在 BigQuery 中使用簡單的 SQL，以全球規模的結構化或半結構化資料來建立和執行機器學習模型，且所需時間比以前減少許多。
<h3>4. 查詢速度與適合查詢的資料大小：</h3>
對於企業來說，營運端所需的數據或是報表，時常都是有時效性且急迫性高的，而軟硬體設備是否有擴充彈性，會大幅影響企業的敏捷性。BigQuery 即是以強大的「分析速度」著名，查詢或分析 TB/PB 等級的資料，最快可達到「秒」的等級，相較之下，傳統資料倉儲或是分析工具，分析時間可能動輒以小時來計算。

<table style="height: 223px; width: 100%; border-collapse: collapse; border-color: #e6e3e3; background-color: #d9d9d9;" border="1">
<tbody>
<tr style="height: 18px;">
<td style="width: 26.4264%; height: 31px;">&nbsp;</td>
<td style="width: 36.6366%; height: 31px;">BigQuery 雲端資料倉儲</td>
<td style="width: 36.9369%; height: 31px;">傳統資料倉儲</td>
</tr>
<tr style="height: 18px;">
<td style="width: 26.4264%; height: 60px;">軟硬體設備擴充彈性</td>
<td style="width: 36.6366%; height: 60px;">&bull; 擴充性高 &bull; 無需購買／管理基礎架構</td>
<td style="width: 36.9369%; height: 60px;">&bull; 擴充性低 &bull; 需建置內部機房、購買軟硬體設備，再進行軟硬體安裝</td>
</tr>
<tr style="height: 18px;">
<td style="width: 26.4264%; height: 46px;">成本與計費方式</td>
<td style="width: 36.6366%; height: 46px;">以資料查詢量或運算量計費</td>
<td style="width: 36.9369%; height: 46px;">&bull; 軟、硬體升級費用 &bull; 資料閒置、效能不足等隱藏成本高</td>
</tr>
<tr style="height: 18px;">
<td style="width: 26.4264%; height: 28px;">分析工具</td>
<td style="width: 36.6366%; height: 28px;">內建機器學習技術</td>
<td style="width: 36.9369%; height: 28px;">工程師需自行建立機器學習模型</td>
</tr>
<tr style="height: 18px;">
<td style="width: 26.4264%; height: 58px;">查詢速度與適合資料大小</td>
<td style="width: 36.6366%; height: 58px;">查詢或分析 TB/PB 等級的資料，最快可達到「秒」的等級。</td>
<td style="width: 36.9369%; height: 58px;">傳統資料集通常使用 GB 或 TB 等計量單位&nbsp;</td>
</tr>
</tbody>
</table>
&nbsp;
<h2>BigQuery 定價方式</h2>
BigQuery 的計價方式分為兩個主要部分，包括「分析定價」和「儲存定價」，以下為您簡介兩種計價方式的差異。
<h3>BigQuery分析定價</h3>
1. 分析定價指的是 BigQuery 處理資料查詢（query）的費用，分為「以量計價」和「固定費率」兩種：
<ul>
<li style="font-weight: 400;" aria-level="1"><a href="https://cloud.google.com/bigquery/pricing?hl=zh-tw#on_demand_pricing" target="_blank" rel="noopener">以量計價</a>（On-demand pricing）：此種計費模式，簡單來說就是依照企業用量來收費，系統會根據各項查詢處理作業的位元組數來進行收費。BigQuery 每個月處理的前 1 TB 查詢資料為免費額度，超過額度後，則是每 TB 收取 5.75 美元（台灣 asia-east1 的定價）。</li>
<li style="font-weight: 400;" aria-level="1"><a href="https://cloud.google.com/bigquery/pricing?hl=zh-tw#flat-rate_pricing" target="_blank" rel="noopener">固定費率</a>（Flat-rate pricing）：此種計費模式適合想要支付固定查詢作業費用的企業。採用此種計價模式，必須購買運算單元（虛擬 CPU），購買 CPU 時，您必須購買可用於執行查詢的專用處理容量。運算單元的使用承諾方案如下幾種：</li>
</ul>
☑︎ 彈性運算單元：承諾至少使用 60 秒。
☑︎ <a href="https://cloud.google.com/bigquery/docs/reservations-details?hl=zh-tw#monthly_commitments" target="_blank" rel="noopener">月付方案</a>：承諾至少使用 30 天。
☑︎ <a href="http://cloud" target="_blank" rel="noopener">年約方案</a>：承諾至少使用 365 天。
<h3>BigQuery儲存定價</h3>
2. 儲存定價指的是收取已載入 BigQuery 的資料儲存費用，分為「動態儲存」和「長期儲存」兩種。兩種儲存定價方式在效能、耐用性或可用性沒有任何差異，且每個月前 10 GB 儲存空間是 BigQuery 提供的免費額度。
<ul>
<li style="font-weight: 400;" aria-level="1">動態儲存：包含過去 90 天內修改過的任何資料表或資料表分區。</li>
<li style="font-weight: 400;" aria-level="1">長期儲存：包含任何連續 90 天未經修改的資料表或資料表分區。這類資料表的儲存費用會自動調降約 50%。</li>
</ul>
*採用月付方案或年約方案時，可以享有較低的價格，歡迎參考 <a href="https://cloud.google.com/bigquery/pricing" target="_blank" rel="noopener">Google Cloud 官方文件</a>，並洽詢 CloudMile 了解最適合您企業的價格優化最佳方案，將會有專人為您解答。
<h2>BigQuery Omni 定價</h2>
前述有提到 BigQuery Omni 服務，能支援 AWS、Azure 等多雲的資料分析，Google 文件中也列出了相關定價。BigQuery Omni 目前提供固定費率的計價方式，可讓您預估查詢的費用，也有支援月付和年約等方案優惠。歡迎參考以下文件，了解目前支援的區域（Region）：<a href="https://cloud.google.com/bigquery/docs/omni-introduction" target="_blank" rel="noopener">https://cloud.google.com/bigquery/docs/omni-introduction</a>

<h2>BigQuery 落地，資料不出境</h2>
當企業因業務持續拓展而累積更多資料，相較於自有實體機房，許多品牌已將企業資產搬遷至雲端上，以獲得公有雲平台所能提供的強大運算能力與儲存空間。然而，許多資料因涉及敏感性與安全性，使得企業對於是否採用公有雲服務有了另一層考量。
以台灣為例，根據金管會列出對應的法規為-金融機構作業委託他人處理內部作業制度及程序辦法，若業務所產生之資料有跨國傳輸/儲存之需求，必須向主管機關報備，然金融業所持有的業務資訊，則不適用可委外處理的範圍，簡單來說就是機敏性資料只能存於國內。
過往若要使用雲端平台所提供之服務，常面臨無法將服務綁定於在地機房，因而造成資料出境(出海)的問題。然而 BigQuery 服務落地，即表示可將 BigQuery 服務限定在 Google Cloud 在台灣彰濱工業區的機房，協助企業用戶無需犧牲商業效益也能全然遵循法規！
<h2>BigQuery 應用案例 - 全球金融巨頭 HSBC</h2>
目前已有許多國外知名金融業者採用 BigQuery 以協助其日常維運與業務拓展。例如 HSBC，截至2017 年，HSBC 內部顧客資料累計達 93PB 等級的巨量資料，為了能更方便地在 GCP(Google Cloud Platform)平台上展開各項資料分析應用，HSBC 採用了 GCP 儲存方案 Google Cloud Storage 以節省自建資料中心所產生的鉅額費用。在風險分析方面，透過 GCP上的 BigQuery，HSBC 無須事先定義資料庫大小，僅須將資料上雲後，即能享受 BigQuery 所具備的海量資料分析與即時運算能力，此外，所儲存與分析的資料，也能應用於機器學習(Machine Learning)的模型，協助HSBC 發展防洗錢機制。
除金融業外，面臨機敏性巨量資料處理的產業還有醫療業、廣告業和零售業等，藉由 GCP (Google Cloud Platform) 讓企業用戶不須負擔網路基礎架構與維運等費用外，其 BigQuery 服務也讓用戶無需介入資料分析運算等複雜且耗時的工作，也能在資料海中快速撈出具商業價值的洞見並進行更多應用，讓企業在分秒必爭的環境中，不錯失任何商機！
延伸閱讀：<a href="https://www.mile.cloud/zh/resources/blog/BigQuery-technological-breakthroughs-help-%20enterprises-develop-more-business-innovations_13" target="_blank" rel="noopener">BigQuery 多項技術突破 助企業發揮更多業務創新&nbsp;</a>
台灣大車隊案例：<a href="https://www.mile.cloud/zh/resources/case-study/taiwan-taxi_324" target="_blank" rel="noopener">https://www.mile.cloud/zh/resources/case-study/taiwan-taxi_324</a>
東南旅遊案例：<a href="https://www.mile.cloud/zh/resources/case-study/settour_302" target="_blank" rel="noopener">https://www.mile.cloud/zh/resources/case-study/settour_302</a>

the-case-of-bigquery-require-leads-without-data-migration-by-this-step

BigQuery 是什麼？當你需要處理巨量資料時，就需要BigQuery來協助你分析資料。BigQueryj完整介紹，包括與傳統倉儲的差異，BigQuery優點以及費用價格一次給你！

BigQuery 是什麼？Google BigQuery 優勢及費用介紹，助你分析資料

BigQuery 是什麼？與傳統倉儲不同，4 大優勢助你分析大數據資料！

<h2>BI 商業智慧是什麼？</h2>
企業內部充斥著各式各樣的營運、顧客數據，舉凡顧客的網頁瀏覽點擊資料、歷史購物紀錄、物流配送資料等，企業如能有效利用這些資料，便能大幅提升營運效率，加速決策。商業智慧（Business Intelligence, BI）扮演的就是這樣的角色，能從企業龐大的資料中進行資料挖掘，並透過儀表板、圖表等方式將分析結果視覺化，幫助企業洞察機會並快速制定決策。尤其當今市場變化迅速，透過 BI 平台正能協助企業快速察覺市場或供給端的變化，以迅速因應。近幾年 BI 更是強調大規模、自動分析等特性，BI 也不再只是高階主管的專利，而是賦權員工們都能利用企業資料進行分析，並制訂所屬職務相應的行動方案。

<h2>為什麼公司需要 BI 平台？</h2>
BI 可應用在市場銷售預測或績效評估，例如總公司可以將所有分公司的營收彙整在 BI 平台，並輕鬆追蹤各分公司的業績績效，掌握分公司的業績與平均業績水準間的關係；企業也能透過 BI 平台了解客戶下單情形，得出近期的消費市場趨勢，甚至是與競爭對手的資料進行比對，便於快速掌握市場動態，並敏捷地匯報給上級決策者。

<h2>商業智慧（BI）與商業分析（BA）差在哪？</h2>
BI 可說是企業營運資料搜集、儲存和分析的過程，而另一個名詞商業分析（Business Analysis, BA）則更著重於將資料運用於預測分析、解答現況，有利於採取後續行動。舉例來說，透過 BI 可以清楚看到 Y 商品在南部地區門市有非常好的銷售成績，使得公司選擇持續增加南部門市該商品的庫存量；而透過 BA 則能進一步探勘，發現原來是因為南部某位部落客在網站上寫了文章介紹 Y 產品，進而為網站帶進龐大的流量。因此，企業下一步或許就能嘗試與該部落客合作其他商品曝光，或是寄送樣品給其他部落客來複製此次相當成功的行銷模式。

<h2>BI 平台有什麼特色？</h2>
一個優良的 BI 平台，普遍擁有以下特色，包括將龐大數據視覺化呈現、自定義的監控儀表板、快速且自動產出報表、內建報告排程功能及可串接多重資料來源等特色。
市面上有非常多 BI 平台可以選擇，有些需要具備一定技術，如會下查詢指令才能使用，因此資料使用單位就只能等待負責數據的部門，如 IT 部門，來提供分析結果。而有些平台雖然不講求技術操作，讓用戶都能自行查詢與使用數據，但卻只能處理特定資料庫的資料，無法看到企業資料的全貌。因此，企業在評估 BI 方案時，必須考量資料分析需求、本身技術能力與企業規模、既有IT基礎架構、對視覺化功能的偏好等來決定。

<h2>BI 平台推薦 － Tableau、Looker</h2>
市場上的商業智慧平台中，<a href="https://www.tableau.com/zh-tw" target="_blank" rel="noopener">Tableau</a>（2019 年由 Salesforce 收購）與 <a href="https://www.looker.com/" target="_blank" rel="noopener">Looker</a>（2020 年由 Google 收購）受到許多資料分析師、行銷人員愛用，兩者各自有不同特色。
<h3>BI Tableau</h3>
Tableau 能輕鬆地將龐大的資料轉換為精美直觀的視覺化圖表，並且能支援進階且高度客製化的圖表呈現，在包括地理視覺數據呈現、即時建立並分享動態圖表等項目，相較於其他 BI 平台皆有優勢，甚至能允許用戶透過簡單提問來自動構建資料視圖。
<h3>BI Looker</h3>
而 Looker 則是主打強大的數據分析平台功能，用戶可透過 Looker 的建模語言 LookML 來進行資料探索與視覺化，可以快速上手並輕鬆進行查詢，Looker 平台也內建常用的分析模組，允許用戶直接修改現有模型，依照新需求套用；Looker 也可以和 GCP 企業級資料倉儲平台 BigQuery 緊密結合，還可以透過 BigQuery Machine Learning 建模，並將執行後的結果匯入 Looker 平台，進行後續的視覺化呈現，甚至也可以搭配 GCP 其他 AI/ML 工具使用。

business-intelligence-platform-tableau

Tableau、Looker這種BI平台是什麼？商業智慧(BI)與商業分析(BA)的差異是什麼？2023 BI平台總整理懶人包，為什麼需要BI平台、BI平台特色，以及BI平台Tableau、Looker推薦與比較

BI 平台是什麼？BI 完整介紹，以及 BI 平台 Tableau 推薦

Tableau、Looker 等 BI 平台是什麼？BI 完整介紹，以及 BI 平台推薦

資料已成為企業最重要的資產，加上巨量資料、人工智慧等新興科技步入主流，資料科學成為各界爭相投入的方向。然而，隨著顧客資料保護法等規範愈趨嚴格，企業對於數據的獲取與應用，都應更加謹慎；同時，要讓這些既有資料應用於商業智慧來發揮最大價值，數據項目、來源與權限都大幅影響著資料的品質，此時，企業應更意識到<a href="https://cloud.google.com/learn/what-is-data-governance" target="_blank" rel="noopener">數據治理</a>（Data Governance）的重要性。
<a href="https://www.cio.com.tw/data-governance-best-practice-framework-for-data-asset-management/#zi_liao_zhi_li_jiao_se" target="_blank" rel="noopener">資料管理協會</a>（Data Management Association）對數據治理的定義，即是「對資料使用及其來源管理，進行全面性的規劃、監督和控管。」如今，跨部門協作與數據共享已是趨勢，企業各部門皆需要準確且即時的資料，以利於業務決策。例如，業務部門需要即時掌握存貨、供應鏈即使狀況，加速業務推廣效率；而行銷人員也需要來自業務部門的第一手顧客數據，用於優化行銷管道與素材。
<a href="https://www.mile.cloud/zh/cloud/services/managed-service" target="_blank" rel="noopener">CloudMile</a> 作為 Google Cloud 全台第一家獲得 MSP 認證的菁英合作夥伴，近期也通過 <a href="https://www.mile.cloud/zh/resources/media-center/cloudmile-gets-ISO27001-certification-to-provide-better-managed-service-quality_396" target="_blank" rel="noopener">ISO 27001 資安認證</a>，提供企業更安全、完善的數據解決方案。以下我們統整了數據治理的基本概念、數據治理的好處及實踐準則，提供有興趣著手數據治理的企業參考。
<h2>什麼是數據資料治理？</h2>
<ul>
<li style="font-weight: 400;" aria-level="1">給具備權限的人，存取權限對應範圍內的資料</li>
<li style="font-weight: 400;" aria-level="1">數據治理是一個體系而非單一專案，規模涉及公司單一部門、跨部門</li>
<li style="font-weight: 400;" aria-level="1">最佳的數據管理解方，是一個不斷進化的過程，會根據企業不同的時空背景、立場與規模變化，而有不同的最適解方</li>
</ul>
<h2>為什麼要做數據資料治理？</h2>
企業資料的來源及內容包羅萬象，同時面臨內部稽核、政府監理機構或產業法規的約束，藉由資料治理機制的建立，就能因應上述種種挑戰，並以安全、精確、高可用性且易於使用的資料，展現多重綜效，包括：
<ul>
<li style="font-weight: 400;" aria-level="1">
<h3>提升資料可用性，加強決策制訂：</h3>
在明確定義資料存取權限之下，確保企業內部資料的易於取用，進而轉化為決策情報、資訊及知識，為企業創造更多效益，確保企業以更即時、更明智的決策來因應客戶需求及市場競爭的變化，加速產品、服務改善及創新。</li>
<li style="font-weight: 400;" aria-level="1">
<h3>法規遵循與稽核需求：</h3>
個資及隱私相關法規日趨嚴謹，各個國家或地區的法令亦有不同，必須主動因應以排除違規風險。此外，除了企業內部，往來客戶及供應鏈皆有稽核需求，資料治理機制是簡化稽核過程並取得信任的利器。</li>
<li style="font-weight: 400;" aria-level="1">
<h3>控管資安風險：</h3>
以明確的資料等級和權責劃分，阻絶未經授權的內部人員存取或外部攻擊的惡意滲透。</li>
<li style="font-weight: 400;" aria-level="1">
<h3>降低管理成本：</h3>
整合散落的資料、解決重複儲存的問題，進而精簡對儲存設備的採購及維運。</li>
</ul>
<h3>數據資料治理3步驟</h3>
資料治理並非短期專案，而是需要長期落實的日常運作，因此，必須先建立起全面性、標準化的權責分工和流程作法，再尋求合適的技術解決方案來達到事半功倍的目標。關鍵步驟包括：
<ul>
<li style="font-weight: 400;" aria-level="1">
<h3>建立內部共識：</h3>
內部人員必須充分理解資料治理的目的，並了解每一筆資料從產生、使用和封存的完整生命週期與作業流程，以及對異常問題的因應方式。</li>
<li style="font-weight: 400;" aria-level="1">
<h3>權責劃分與政策落實：</h3>
跨部門、跨團隊的資料應用已是常態，除了資料授權機制，小至檔案命名、版本控管、機密等級劃分，都要有明確規範，以此平衡資料供應方和資料運用方的。</li>
<li style="font-weight: 400;" aria-level="1">
<h3>技術架構的配套：</h3>
在明定的權限規範之下，透過與專業的數據技術夥伴合作，導入數據匯入、清洗、建立援共享機制的資料倉儲的流程，到最終進行資料視覺化及商業預測等應用，以此減少企業資料管理負擔，並創造更多營收成長的機會。</li>
</ul>

許多企業或多或少都有資料治理作法，但通常只限於特定部門或應用，也缺乏明確的權責和流程規範。唯有建立整體化的資料治理政策，才能以統合連貫的企業資料來創造更多效益和優勢。CloudMile Data Lab 數據解決方案，由數據技術團隊支援，以教育訓練、技術文件及權限制定 SOP 等服務，協助企業內部進行跨部門溝通、權責劃分，並協助落實資料倉儲的建置與優化，持續擴大企業資料應用的價值。
參考資料：<a href="https://cloud.google.com/learn/what-is-data-governance" target="_blank" rel="noopener">https://cloud.google.com/learn/what-is-data-governance</a>
&nbsp;

具備安全性、性能佳，高可用性的通用資料庫平台不可少！CloudMile 將與 MongoDB、遊戲業客戶同台分享遊戲業的資料應用與管理，歡迎點擊下方連結報名。


CloudMile x MongoDB 線上研討會

data-governance-concept-and-approach

數據資料治理有必要嗎？企業3個步驟，進行數據資料治理，可以擴大數據資料的應用價值，並且在數據資料分析上提升資料可用性，也能夠降低管理成本以及控管資安風險！

#數據管理/分析