生成式AI是什麼？6個討論帶你了解生成式AI將引領世界走向何處

生成式 AI（Generative AI）浪潮崛起後，如今無論使用者是否具有機器學習背景，都比以往任何時候更容易透過 AI 來實現多樣的應用，包括從複雜的數據中獲得見解，又或是一鍵產出內容。本篇文章將彙整生成式 AI 的 5 大應用趨勢與情境，協助企業更了解如何將生成式 AI 應用於營運，甚至是打造新服務。

生成式 AI 技術掀起 AI 革命 

生成式 AI 是一種機器學習（ML）技術，它能學習 Training data 的模型和結構，並用於產生新內容、數據或是資料分析等任務，常見的使用情境包括產出文本、圖像、影片、音檔等。許多生成式 AI 應用涉及大型語言模型（LLM），它們是一種可以識別、預測和產生人類語言的機器學習演算法。LLM 的特點在於多工處理的能力，它們能夠在一系列自然語言處理任務上表現良好，例如問答和下結論，甚至可以在沒有經過明確預先訓練的情況下有卓越表現，與使用傳統 ML 開發的模型相比，擁有多工處理能力的大型語言模型模型更易於存取且更具有可擴展性。

現今，各領域的企業組織都在探索生成式 AI 的應用價值，然而像是客戶生命週期價值預測、資料庫查詢等需求仍較適合透過傳統機器學習方法來解決，因此，為了讓組織的 AI 投資獲得最大回報，企業應找出最急迫的應用需求，並找出生成式 AI 在傳統機器學習和其他方法之外，還能為企業哪些面向提供相應價值。

討論一：生成式 AI 五大應用趨勢 

生成式 AI 可應用於各式產業，如金融服務、零售、醫療保健、媒體和製造業等，以下舉例五種常見的應用情境：

客戶服務和支援 

生成式 AI 可以幫助企業改善營運、降低成本並優化客戶體驗，像是透過聊天機器人回答客戶問題，以及透過總結案例、指示後續步驟和轉錄通話來協助真人客服支援。此外還可以利用生成式AI，將轉錄的文字記錄和其他內部知識來源產出FAQ文件，以輔助聊天機器人或內部檢索。

文件檢索與整合（Document search and synthesis） 

許多組織希望利用生成式AI改進搜尋結果和摘要，以便員工輕鬆找到最相關的文件。例如，您的組織可以減少員工尋找人力資源和流程相關問題答案所需的時間。企業內部手冊和網站的索引通常很差，因此部署對話式AI的員工檢索工具可以減輕工作負擔，而人力資源團隊可以專注於其他任務。

內容生成

如果企業中有創意團隊，您可以使用生成式 AI 幫助他們快速創建用於行銷活動的圖像、廣告文案、文章和網站內容。行銷團隊可能希望根據受眾屬性產生廣告內容，以便實現大規模個性化。或者他們可能想要創建與趨勢相關的社交媒體內容，便可透過大型語言模型歸納新聞文章來發現趨勢。這些用途可以提高行銷投資回報率、提高員工生產力並加快上市時間。

內容推薦（Content discovery）

生成式 AI 可以幫助企業內部和外部用戶找到最相關的產品或內容。例如，零售電商的網站透過導入生成式 AI 與對話機器人，讓消費者可以即時提問，快速找到他們想要的商品來提高轉換率和線上銷售營業額，並提供用戶更直觀的購物體驗。

開發者效率

生成式 AI 還可協助開發團隊產出程式碼與故障排除，並且能協助回答程式碼相關的問題來提高開發者工作效率。開發人員的專業能力加上使用生成式 AI 產生的程式碼，可以幫助企業更快速推出新功能並發表產品。

更多生成式 AI 應用，歡迎參考此篇文章

討論二：人工智慧走向民主化 (AI Democratization) ，實驗文化至關重要

隨著生成式 AI 驅動的應用變得更加廣泛，企業組織內部門的運作方式將會產生改變。企業可以使用開箱即用（OOTB，Out-Of-The-Box）產品功能來快速構建沉浸式對話體驗，並根據自己的需求調整基礎模型，讓自身的產品與競爭對手產品有所區隔。企業甚至可以使用專門的 AI 基礎架構來訓練和構建企業專屬的大型模型。

無論使用哪種方法，企業都需要培訓員工、招募合適的角色並積極擁抱「實驗文化」。因為儘管開發人員可以使用 OOTB 功能，調整基礎模型通常仍需要資料科學專業知識，構建自己的大型模型更需要專精的研究人員和機器學習工程師。此外，團隊借助生成式 AI，確實可以在幾天內就創建 PoC，但如果要有效地利用 LLM 來進行原型設計，團隊需要有專業人員評估 LLM 是否能夠推動產品願景，並思考如何使用 LLM 來構建自家的產品，同時必須在緊密的反饋循環中對產品進行版本控制，這也是為什麼實驗文化至關重要。

討論三：負責任的生成式AI技術與應用

生成式 AI 的出現，可有效減少企業在傳統機器學習的支出及投資比重，然而生成式 AI 多元的應用與強大的創作能力，也使得隱私與資安議題伴隨出現，使用者將更需要注意其使用方法，並予以負責。例如，企業組織在使用生成式 AI 時，需考慮以下幾個風險：

第一個是幻覺（hallucination）：幻覺是大型語言模型的一種回應，看起來可能可以連貫且自信地表達，但實際上並沒有完全地基於事實進行回答，便有機會產生虛假的訊息，或誤導性的內容。

儘管企業組織難以完全避免幻覺的出現，還是能將人類納入工作流程環節作為把關，以此降低散步假訊息的風險。例如，為了維持品牌形象與專業度，企業使用生成式 AI 產出的廣告內容，需在上線之前進行人工審核。 

另一種風險則是帶有髒話和偏見的內容。目前許多研究顯示，大型語言模型在訓練的過程中，可能會延續刻板印象和社會偏見，或使用可能引起冒犯的髒話。有多種方法可以減少這種風險，包括開發內容安全過濾器或內容審核模型等技術防護。

討論四：新的生成式AI開發方法

驅動生成式 AI 的大型模型通常需要經過多個階段來做準備，才能使它在無需額外訓練的情況下執行多種任務。簡單來說，這個過程始於在大型通用數據集上預訓練模型（Pre-training），接著通常是對一組標註任務的資料集進行指令調整（Instruction tuning），也可能是用於創建特定領域基礎模型的特定領域資料集。

為了讓模型更好地應用於不同任務，可以採用提示工程（Prompt engineering），包含零樣本、單樣本和少樣本的提示方法，或收集大量標註資料進行微調（Fine-tuning），來優化模型表現。最後，模型得以在進行許多下游任務時表現更好，例如摘要、分類和生成。下圖是該流程的示意圖：

在多數應用情境下，像是撰寫銷售郵件或行銷內容的草稿，組織不需要事先進行傳統的資料準備和清理工作，只需輸入任務提示到特定任務的模型，不須做額外的訓練或調整，只需提供一些範例，即可獲得不錯的結果。至於某些複雜的應用情境，，則建議將多個提示鏈接在一起來得到更好的結果。視應用情境的需要，企業營運大型語言模型 (LLM) 和其他基礎(Foundation)模型可能不需要進行傳統機器學習 (ML) 實作中常見的持續而複雜的訓練以及 data engineering pipelines 過程。

儘管大型語言模型從訓練數據中獲得大量知識，但受限於模型的 Context Window（即用來讓模型參考的資訊範圍），無法存取其訓練參數之外的外部資訊。這些外部資訊包括搜尋結果、資料庫數據或是這些LLMs未受訓過的其他語料庫（corpora）知識。 

為了增加 LLMs 的價值，組織應該將其視為智能應用程式的一個元素。以下介紹幾種打造此類應用程式的新開發方法。

1. 透過資訊檢索增強大型語言模型 (LLMs)

我們看到組織常見的一個誤解，以為將知識微調到 LLM 中來構建資訊檢索（information retrieval）系統，就是將模型建立在事實基礎上，且這些微調的 LLM可以作為正確的資訊來源。但事實上，經過微調的模型仍然可能產生幻覺 (hallucinate)，或產出非事實的回覆。撇開幻覺不談，模型的知識僅限於最近一次微調的結果，而組織如果要頻繁的進行微調，就可能會成本高昂。 

相反地，一種越來越受歡迎的模式是讓 LLMs 根據非參數資訊或模型本身以外的資訊進行推理。嵌入（Embeddings）是非結構化資料（例如文字或圖檔）的向量表示（vector representations），能用於檢索這些外部來源（例如企業數據）資料。如此一來，產出的結果就會以搜尋語料庫為依據，並且搜尋語料庫的更新可以幾乎即時地呈現在搜尋結果中，要實現多文件摘要和問答等下游任務就相對簡單許多。

2. 推理與操作

對 LLMs 期望結果的複雜程度也會影響提示的複雜性。例如，有事實基礎的問題可以轉化為簡單的 prompt 指令，像是「J79 發動機的壓力比是多少？」這類問題，LLMs 可能可以回答出正確的答案，但如果模型沒有透過增強資訊檢索技術來確立基礎，回答仍然可能會出現幻覺。

而更複雜的問題則可能需要一次性或幾次學習性的提示，在提示中輸入一些範例，以便模型可以在任務的上下文中學習。複雜的任務可能還需要思維鏈（chain-of-thought）提示，這有助於模型將任務分解為更小的步驟。

若是再更複雜的問題，尤其是那些需要明確的外部步驟相關問題，例如存取資料庫或呼叫 API 等，也需要被分解為更小的任務，每個任務都有 LLM 來處理推理和操作序列。Langchain 是一種用於構建 LLM 驅動應用程式的流行框架，具有兩項進階功能：用於規劃和執行的 agents，以及與外界互動的工具。這些功能便可支援組織開發出豐富的、由 LLM 驅動的應用程式。

3. 建立在供應商服務之上

巨大的生成式 AI 商機為供應商創造了一個市場來提供大型語言模型和其他基礎模型，以及 AI 驅動的產品和服務，且提供企業組織自建或是購買的選擇權。 在市場發展快速的環境下，平台非常重要。新的應用案例和需求正快速推企業開發自己的創新服務，甚至比供應商供應新產品功能的速度還要快。一個可擴展的平台可以讓一組基本功能快速上市，同時也讓組織可以在這個基礎上構建自定義的功能。

例如， Generative AI App Builder 上的Vertex AI Search是一項由 LLM 支援的搜尋服務，內建語義搜尋和摘要功能。作為一個平台，它允許使用像是 Langchain 等框架進行功能擴展，使得 Vertex AI Search 服務除了基本功能外，還增加了複雜問答、摘要功能以及豐富的 agent 程式等功能。 

討論五：生成式AI的可擴展性 (Scalability) 和成本優化

生成式 AI 的模型規模通常非常大，因此組織可以想見這些模型的營運成本會高於傳統機器學習模型的成本。LLM 和其他大型模型主要依賴於矩陣運算，而硬體加速器就特別適用。因此，組織應考慮使用 GPU 和 TPU 來提高成本效益和運算效能。

利用大型模型的應用程式通常會有人機互動介面，例如資訊檢索和聊天機器人等應用程式，而這些應用程式通常對服務的延遲性非常敏感。為了確保這些應用程式達到延遲時間 SLO，組織通常需要配置額外的運算資源來應對即時的需求。如果某應用程式是對全球用戶開放使用，組織可能需要在多個位置部署模型來滿足對於低延遲的期待。而這些對額外資源的要求，可能會是原本就已昂貴的大型模型推理成本的倍數增加。

考量到這些成本，領導者應思考降低成本的機會，特別是針對大規模的應用案例。例如，組織應該先反思是否需要使用生成式 AI 來回應每個用戶的內容請求。相反地，組織或許可以使用 LLM 預先生成 20 至30 個以上不同的廣告，然後在執行時將這些廣告視為較經濟實惠的推薦系統。

如果不清楚應用程式需要預先生成哪些數據，組織也可以試試在部分查詢上使用生成式人工智慧，然後重複使用生成的內容，這種方法可以避免為每個查詢運行 LLM 的成本。如果每個使用請求都需要使用 LLM，組織應該考慮是否可以使用較小的模型，或者可以透過知識提取（distillation）來降低運行模型時的成本，也就是大模型的知識可以被較小的模型所學習。如前所述，由於生成式 AI 的運行成本會比傳統機器學習高出許多，因此組織應該就不同方法進行成本效益分析。

有句話說：「如果沒有必要，就不要訓練模型。」可以說是優化生成式 AI 成本的準則。如果模型訓練被評估是必要的，組織應盡可能地減少訓練，並且在進行訓練時盡可能移動少量的參數。

 應用程式架構會有顯著影響，不論模型是否需要訓練。以前述的資訊檢索應用為例，透過依靠微調來灌輸知識，組織的風險是可能產出包含幻覺在內的搜尋結果，而大型語言模型的知識新鮮度將受限於微調的頻率。需要的知識越新，組織需要花在微調上的成本就越高。對比已強化過的LLM資訊檢索系統來說，如果可用模型不支援應用程式的領域，組織或許可使用既有的 LLM 來生成嵌入，使其保持應用程式的產出是最新，且無需訓練或重新訓練模型。即使有必要使模型適應某特定領域，強大的架構也可以幫助確保這項任務不會頻繁發生。 

討論六：MLOps 的演變

我們正處於生成式 AI 發展的早起階段，許多企業仍在實驗階段，還未到開發自動化技術的階段。然而，我們預期生成式 AI 將與傳統機器學習有著類似的發展軌跡，從新穎的研發科技成果逐漸發展成熟為機器學習工程。 

例如，我們目前看到許多臨時的提示工程以及初步或不存在的提示評估和提示管理流程，也看到同樣的實驗方法應用在其他模型調適的方法上，例如模型調整。這類似於傳統機器學習工作流程導入的早期階段，那時還未引入像是 TFX 和 Kubeflow 等框架。

與此同時，我們已經看到 MLOps 實踐在生成式 AI 領域不斷發展。組織已經了解到，除了傳統模型監控之外，他們還需要增加額外的防護措施，例如安全過濾器、安全評分、背誦檢查(recitation checks)、防止資料外洩和人工反饋等。

生成式 AI 下一步將走向何方？

儘管傳統的變革管理和解決方案策略仍然適用，但面對生成式 AI 的浪潮，領導者應考慮以下幾個關鍵問題：

• 對於您的應用情境，哪種方法可以提供最佳的投資回報率：傳統機器學習、生成式AI，還是簡單的啟發式方法？
• 對於您的應用，您是否計劃打造自己的模型、調整基礎模型或利用現成的產品功能？
• 您的團隊是否具備建立和使用生成式 AI 解決方案所需的技能？
• 您是否需要使用生成式 AI 來回應每個用戶查詢，還是可以在部分查詢上使用生成式 AI，然後重複使用生成的內容？
• 您能否透過使用替代架構來消除或減少訓練和微調模型的需求？

CloudMile 是亞洲領先的雲端及 AI 技術服務商，能提供企業從雲端架構評估、導入，數據彙整和平台建置，到 AI 應用規劃及微調生成式 AI 模型等服務，歡迎聯繫我們為您加速 AI 應用。

本文編譯自 Google Cloud Blog