Slik kommer du i gang med Dell Pro AI Studio ved hjelp av kodeeksempler

Dell Pro AI Studio er et omfattende verktøysett som er utformet for å forenkle og akselerere utviklingen, implementeringen og administrasjonen av AI-applikasjoner på Dell AI-PC-er.

Berørte produkter:

• Dell Pro AI Studio

Programmet mitt bruker for øyeblikket OpenAI API-er og er konfigurert til å bruke skytjenester. Hvordan kan jeg gå over til å bruke lokale Dell Pro AI Studio-modeller og -databehandling?

Dell Pro AI Studio ble utviklet for å løfte og flytte visse workloader til lokal databehandling. Hvis din nåværende AI-applikasjon bruker en OpenAI API-konfigurasjon, har du sannsynligvis en kode som ser ut som koden nedenfor:

Eksempel på Python-kode:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Når du har installert Dell Pro AI Studio, kan du endre programkonfigurasjonen fra ovenstående til nedenfor.

Eksempel på Python-kode:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Appen min krever strømmefunksjonalitet, støtter Dell Pro AI Studio Framework strømming?

Absolutt! Vanligvis trenger koden Stream-nøkkelordargumentet lagt til i et funksjonskall.

Eksempel på HTTP-kode ved bruk av Phi 3.5:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Eksempel på Python-kode:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )