Dell Pro AI Studion käytön aloittaminen koodinäytteiden avulla

Dell Pro AI Studio on kattava työkalupaketti, joka on suunniteltu yksinkertaistamaan ja nopeuttamaan tekoälysovellusten kehittämistä, käyttöönottoa ja hallintaa Dellin tekoälytietokoneissa.

Tuotteet, joita asia koskee:

• Dell Pro AI Studio

Ohjelmani käyttää tällä hetkellä OpenAI-ohjelmointirajapintoja, ja se on määritetty käyttämään pilvipalveluita. Miten voin siirtyä käyttämään paikallisia Dell Pro AI Studio -malleja ja laskentaa?

Dell Pro AI Studio on suunniteltu tiettyjen kuormitusten nostamiseen ja siirtämiseen paikalliseen laskentaan. Jos nykyinen tekoälysovelluksesi käyttää OpenAI-ohjelmointirajapinnan määritystä, sinulla on todennäköisesti koodia, joka näyttää seuraavanlaiselta:

Esimerkki Python-koodista:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Kun olet asentanut Dell Pro AI Studion, voit muuttaa sovelluksen määrityksiä yllä olevasta alla olevaan määritykseen.

Esimerkki Python-koodista:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Sovellukseni edellyttää suoratoistotoimintoa, tukeeko Dell Pro AI Studio Framework suoratoistoa?

Ehdottomasti! Yleensä koodi edellyttää Stream-avainsana-argumentin lisäämistä funktiokutsuun.

Http-koodiesimerkki Phi 3.5: n avulla:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Esimerkki Python-koodista:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )