Sådan kommer du i gang med Dell Pro AI Studio ved hjælp af kodeeksempler

Dell Pro AI Studio er et omfattende værktøjssæt, der er udviklet til at forenkle og fremskynde udviklingen, implementeringen og administrationen af AI-programmer på Dell AI-pc'er.

Berørte produkter:

• Dell Pro AI-studie

Mit program bruger i øjeblikket OpenAI API'er og er konfigureret til at bruge skytjenester. Hvordan kan jeg gå over til at bruge lokale Dell Pro AI Studio-modeller og databehandling?

Dell Pro AI Studio er designet til at løfte og flytte visse workloads til lokal databehandling. Hvis dit nuværende AI-program bruger en OpenAI API-konfiguration, har du sandsynligvis noget kode, der ligner nedenstående kode:

Python-kodeeksempel:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Når du har installeret Dell Pro AI Studio, kan du ændre din programkonfiguration fra ovenstående til nedenstående.

Python-kodeeksempel:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Min app kræver streamingfunktionalitet, understøtter Dell Pro AI Studio Framework streaming?

Absolut! Din kode skal normalt have argumentet Stream-nøgleord tilføjet i et funktionskald.

Eksempel på http-kode med Phi 3.5:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Python-kodeeksempel:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )