Så här kommer du igång med Dell Pro AI Studio med hjälp av kodexempel

Dell Pro AI Studio är en omfattande verktygslåda som är utformad för att förenkla och accelerera utveckling, driftsättning och hantering av AI-program på Dell AI-datorer.

Berörda produkter:

• Dell Pro AI-studio

Mitt program använder för närvarande OpenAI API:er och är konfigurerat för att använda molntjänster. Hur kan jag övergå till att använda Dell Pro AI Studio för lokala modeller och beräkning?

Dell Pro AI Studio har utformats för att lyfta och flytta vissa arbetsbelastningar till lokal databehandling. Om ditt aktuella AI-program använder en OpenAI API-konfiguration har du förmodligen kod som ser ut som koden nedan:

Exempel på Python-kod:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

När du har installerat Dell Pro AI Studio kan du ändra programkonfigurationen från ovanstående till nedanstående.

Exempel på Python-kod:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Min app kräver strömningsfunktion, har Dell Pro AI Studio Framework stöd för strömning?

Absolut! Vanligtvis behöver koden nyckelordsargumentet Stream som lagts till i ett funktionsanrop.

Exempel på HTTP-kod med Phi 3.5:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Exempel på Python-kod:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )