• 生成式 AI

    生成式 AI 已然到來：
    您準備好了嗎？

    內建 Intel® 創新技術

      • 從何處開始

        全新的生成式 AI 時代

        組織與個人正在大規模運用生成式 AI (GenAI)，因而造成顯著的社會影響。ChatGPT 和 DALL-E 等消費者級 AI 已運用其內容生成能力激發了所有人的想像力。然而，GenAI 對組織的影響可創造更多的價值，包括提高生產力、降低成本，並改變工作方式。

      • 76%

        相較於公有雲，可用於推論內部部署 LLM 之 Dell AI 解決方案能實現高出達 76% 的成本效益。

        GenAI 將改變組織

        GenAI 不僅帶來好處，也帶來全新的挑戰與風險。組織在展開生成式 AI 之旅時，他們無法冒險用客戶的信任和資料的高價值，來換取率先奪標的報酬。

        76%

        相較於公有雲，可用於推論內部部署 LLM 之 Dell AI 解決方案能實現高出達 76% 的成本效益。

      • 適合您使用案例的理想資料

        為了有效利用 GenAI 的強大力量，組織必須有策略地運用豐富、高品質的資料。最佳使用案例仰賴此類資料，且需要均衡混搭技能組合、預算及資源，突顯企業與 IT 團隊之間協作確立優先順序的重要性。

        • 內容生成

        • 自然語言搜尋

        • 程式碼生成

        • 數位助理

        • 設計和資料建立

        • 文件自動化

      • 達成生成式 AI 應用目標

        儘管企業在每一個垂直市場都已發掘數百個使用案例，但採用合適的使用案例才是關鍵所在。

      • 人員和團隊

        為貴組織準備好因應生成式 AI 帶來的機會，讓 IT 組織專注於內部事務，企業則專心處理外部事務。

      • 程序和政策

        定義並公開表示貴組織將如何運用 AI，並將其做為貴企業聘用員工的關鍵要素。

      • 科技

        在貴組織中安全地取用生成式 AI，避免影子 AI 執行個體以確保資料完整性和法規遵循。

      • 策略

        瞭解環境的「現狀」目前狀態，藉此決定未來 GenAI 專案的策略願景和指導原則。

      • 資料在生成式 AI 中扮演的重要角色

        資料與風險密切相關。資料將帶動生成式 AI 專案的進展，但您也需要評估在公有雲中存放生成式 AI 模型的潛在風險，包括：失去智慧財產權、資料外洩、隱私權爭議、違反法規、失去信譽和誠信、偏差，以及 IP 侵權。

        • 管理風險並提高價值

          在旅程開始之際，您必須在技術和訓練方面做出相等的投資，才能提高操作成熟度、降低風險、強化控制能力，並為貴組織創造最大價值。透過企業就緒 GenAI，您可以控制哪些人有權存取您的資料。

      • 支援企業的 GenAI 不成熟的 GenAI 營運成熟度 風險
        圖表顯示，資料處理達到營運成熟度 (x 軸) 時，風險 (y 軸) 會隨著時間推移而降低。圖表的斜率開始表示不成熟的 GenAI，具有高風險和低營運成熟度。圖表的向下趨勢指出，支援企業的 AI 可降低風險，代表更高的營運成熟度。

      • 將 AI 與您的資料結合

        將生成式 AI 模型部署於資料鄰近處

        • 瞭解不同部署選項的風險和優點，對於決定組織的最佳 GenAI 工作負載配置而言，至關重要。將 AI 技術應用在資料時，部署 GenAI 大型語言模型 (LLM) 的私有執行個體 (例如 Llama 2 或 Falcon) 有利於加快速度和部署作業，但此類模型也可能成本較高且有其他缺點。無論哪種方式，內部 GenAI 都可能讓您的早期工作發揮最大價值。

          在配置工作負載時，GenAI 與任何其他工作負載並無區別。若要取得最佳成果，請根據您的業務和技術需求，將其置於最合理的環境中。

          下方圖表說明了決定 GenAI 工作負載配置時用到的概念和架構。

      • 資料存放位置 成本 更快實現價值 準確率和自訂 一般用途使用案例 安全存取 公有雲端 私有雲端
        圖表顯示，在選擇私有雲或公有雲來配置 GenAI 工作負載時，需要考量的六項因素。「資料存放位置」和「安全存取」會顯著傾向於選擇私有雲。「成本」會適度傾向於選擇私有雲，「準確率和自訂」會略微傾向於選擇私有雲。「更快實現價值」會略微傾向於選擇公有雲。「一般用途使用案例」則顯著傾向於選擇公有雲。

        • 生成式 AI 適用的資料管理

          許多組織正採取雙管齊下的 GenAI 策略。他們正在實驗策略性部署來學習並避免落於人後，同時也制定一套長期策略，以因應隨時間不斷出現的大量使用案例。此方法需要採取雙層式資料管理策略。

        資料準備
        資料工程

        • 資料準備

        • 資料探索

          識別資料集並定義資料需求

        • 資料探索和豐富化

          設計並實作資料管道以標記、清理、加標籤及匿名化資料

        • 短期：資料準備

          資料準備包括識別資料集並定義資料需求，接著清理、加標籤及匿名化資料資料，然後跨資料來源進行資料標準化。此外也需要建立資料管道，才能將資料整合至模型中。

        • 資料工程

        • 資料消化

          將企業資料整合至大型語言模型

        • 可觀察性和表現

          確認轉換後的資料符合目標

        • 長期：資料工程

          組織需要結構良好的資料存放庫 (例如資料湖或資料湖區)，才能整合資料與 GenAI 模型。請考慮以迭代方式建置資料湖，以便一邊逐步擴展 GenAI 資料存放庫的功能，一邊讓團隊增強資料管理和 GenAI 技能。

        • 「這項 [與 Dell Technologies 的] 合作可讓公司運用開放原始碼社群的驚人創新能力建立自家的 AI 系統，同時享有 Dell 系統的安全性、合規性及效能。」

          Jeff Boudier, 產品與成長主管 Hugging Face

      • 適當調整 AI 規模

        定義基礎結構並適當調整 AI 規模

      • 75%

        Dell AI solutions for inferencing LLMs on-premises can be up to 75% more cost effective than the public cloud.1

        您的獨特資料使您能夠運用領域和企業專屬的使用案例，透過掌握獨有資料的特定工作或職能來創造業界價值。不同類型的 GenAI 有相對應的進入點和投資項目，以確保順利運作。接受過大量文字訓練的 LLM 就如同百科全書，非常適合一般用途，但可能不適合用於解答與貴組織資料相關的特定問題。

        75%

        Dell AI solutions for inferencing LLMs on-premises can be up to 75% more cost effective than the public cloud.1

      •  

         

      • 您的資料可大幅提高 GenAI 的效率和價值

      • 功能有限 最小/最具成本效益 領域專業知識 最準確 規模較小 更準確 更容易產生幻覺 成本高昂且耗費能源 使用案例的廣度 一般用途 企業專屬 領域專屬 大型語言模型 價值
        圖表顯示 3 種 AI 模型所需的相對資料量及其商業價值。大型語言模型 (LLM) 適用於一般用途的使用案例，使用的資料最多。這類模型成本高昂且耗費能源，而且較容易產生幻覺。領域專屬的 AI 會使用較少且更具體的資料。這類 AI 的功能有限，但與您的業務更相關，價值更高。企業專屬的 AI 仍然使用較少的資料，但會是最具體、最準確的 AI，可為您的業務帶來最高價值。

      • AI 部署模型：評估成本與價值權衡

        以下前三種部署模型是大多數組織目前正在導入的項目，從「模型增強」開始，然後在最後決定「微調模型」。您選擇的 AI 模型將取決於貴組織的資料科學整備度、部署模式，以及各模型的相關影響。

      • 預先訓練模型

        這種稱為「提示工程」的方法，會向預先訓練模型提出問題並接收結果。
        範例：ChatGPT

        模型增強

        新增資料以增強您的 GenAI 模型，藉此為模型的答案 (例如推論) 提供更多內容，此類使用案例包括檢索增強生成 (RAG)。

        微調模型

        這包括調整模型權重並整合您的資料。儘管這樣做能改善結果，但也需要在設定時付出更多心力。

        模型訓練

        包括建置特定的模型，以及使用資料集加以訓練。這通常需要最多的工作和資源，而且通常是保留用來解決複雜的問題。
        工作量 少量工作量 中等工作量 大量工作量 巨大工作量
        成本 低成本 中等成本 高成本 重大成本
        價值與
        差異性        		 最小價值與差異性 中等價值與差異性 高價值與差異性 顯著價值與差異性
        資料整合 無資料整合 高度資料整合 高度資料整合 大量資料整合
        基礎架構 用戶端 – 伺服器 用戶端 – 伺服器 GPU 最佳化 大型 GPU 部署
        技能 IT 作業人員 開發人員 資料科學家 資料科學家
        簡化部署參考資料 Validated Design 參考設計 Validated Design 參考設計

      • 為模型選擇合適的基礎結構

        支援 GenAI 部署的基礎結構主要取決於運算需求，並且會受模型類型、模型規模和使用者數量影響。此外也需要考量必要的儲存容量，以便儲存在部署、訓練及改進模型時使用的資料。

      • 一般運算 (CPU 導向) AI 最佳化 (GPU 密集型) Dell 筆記型電腦 Precision 工作站 PowerEdge 機架式伺服器 PowerEdge XE 伺服器 ObjectScale 儲存裝置 PowerScale 儲存裝置 PowerFlex 儲存裝置 PowerSwitch Z 系列交換器 模型訓練 微調模型 模型增強 預先訓練模型 數百萬個參數 數十億個參數 數兆個參數 使用者數量少 使用者數量多
        圖表顯示三項 GenAI 需求，並將這些需求對應至適當的 Dell 硬體解決方案。硬體解決方案以效能劃分，提供 CPU 導向型的一般運算選項包括，乃至於 GPU 密集型的 AI 最佳化選項。具體選項從一般運算端的 Dell 筆記型電腦開始，一直到 Precision 工作站和 PowerEdge 伺服器，最後是 AI 最佳化解決方案端的 PowerEdge XE 伺服器。請注意，Dell 儲存裝置和網路硬體可用於整個範圍。在發展過程中會需要越來越多的處理能力，而會有三項 GenAI 基礎結構屬性對應至這些解決方案。模型的複雜性範圍廣闊，可以是使用預先訓練模型並增強或微調模型，乃至於訓練新模型。參數的數量可以從數百萬到數十億個，一路到數兆個。

      • 加速您的 AI 旅程

        贏在起跑點

        檢索增強生成 (RAG) 對於許多利用額外資源 (例如自己的資料) 來強化模型的組織而言，是理想的早期使用案例，不必再重新訓練。探索可以套用哪些 RAG 使用案例設定來增強您的企業和資料。

    • 讓我們協助加速您的旅程

      Dell 採用從辦公桌到資料中心的端對端全方位措施，協助您消除障礙，在整個企業採用 GenAI。

    • 適用於 AI 的 PowerEdge 伺服器

    • 適用於 AI 的儲存裝置

    • AI 適用的資料管理

    • Precision 工作站

    • 支援 AI 技術的筆記型電腦

    • AI 適用的專業服務

    • 1 根據 Dell 於 2024 年 4 月委託 Enterprise Strategy Group 進行的研究，「Maximizing AI ROI: Inferencing On-premises With Dell Technologies Can Be 75% More Cost-effective Than Public Cloud」(最大化 AI 投資報酬率：使用 Dell Technologies 產品於內部部署進行推論比在公有雲進行的成本效益高 75%)，過程中比較了內部部署 Dell 基礎結構與原生公有雲基礎結構即服務及權杖型 API。預期成本模型是利用 RAG 針對 3 年間的小型 (5K 使用者)、中型 (10K 使用者) 及大型 (50K 使用者) 和兩個 LLM (7B 和 70B 參數量) 所建立。實際結果可能會有所差異。 經濟摘要。