Come iniziare a utilizzare Dell Pro AI Studio utilizzando esempi di codice

Dell Pro AI Studio è un toolkit completo progettato per semplificare e accelerare lo sviluppo, il deployment e la gestione delle applicazioni di AI sui PC Dell AI.

Prodotti interessati:

• Dell Pro AI Studio

Attualmente il mio programma utilizza API OpenAI ed è configurato per l'utilizzo di servizi cloud. Come posso passare all'utilizzo dei modelli locali e dell'elaborazione di Dell Pro AI Studio?

Dell Pro AI Studio è stato progettato per il trasferimento in modalità lift-and-shift di determinati carichi di lavoro nell'elaborazione locale. Se la tua attuale applicazione di intelligenza artificiale utilizza una configurazione API OpenAI, probabilmente disponi di un codice simile al codice riportato di seguito:

Esempio di codice Python:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Dopo aver installato Dell Pro AI Studio, è possibile modificare la configurazione dell'applicazione da quella sopra riportata a quella sotto.

Esempio di codice Python:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

La mia app richiede funzionalità di streaming, Dell Pro AI Studio Framework supporta lo streaming?

Assolutamente! In genere, il codice richiede l'aggiunta dell'argomento della parola chiave Stream in una chiamata di funzione.

Esempio di codice HTTP con Phi 3.5:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Esempio di codice Python:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )