如何使用程式碼範例開始使用 Dell Pro AI Studio

Dell Pro AI Studio 是全方位工具組，可簡化和加速 Dell AI 電腦上 AI 應用程式的開發、部署及管理作業。

受影響的產品：

• Dell Pro AI Studio

我的程式目前使用 OpenAI API，並設定為使用雲端服務。如何轉換為使用 Dell Pro AI Studio 本機模型和運算？

Dell Pro AI Studio 旨在將特定工作負載直接轉移至本機運算。如果您目前的 AI 應用程式使用 OpenAI API 設定，您可能有一些類似於以下代碼的代碼：

Python 程式碼範例：

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

安裝 Dell Pro AI Studio 後，您可以將應用程式組態從上述變更為下方。

Python 程式碼範例：

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

我的應用程式需要串流功能，Dell Pro AI Studio 框架是否支援串流？

完全！通常，代碼需要在函數調用中添加 Stream 關鍵字參數。

使用 Phi 3.5 的 HTTP 代碼範例：

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Python 程式碼範例：

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )