Come iniziare a utilizzare Dell Pro AI Studio utilizzando esempi di codice
Summary: Scopri gli esempi di codice essenziali che consentono agli sviluppatori e ai professionisti IT di iniziare a sfruttare la potenza di Dell Pro AI Studio.
Instructions
Dell Pro AI Studio è un toolkit completo progettato per semplificare e accelerare lo sviluppo, il deployment e la gestione delle applicazioni di AI sui PC Dell AI.
Prodotti interessati:
- Dell Pro AI Studio
Attualmente il mio programma utilizza API OpenAI ed è configurato per l'utilizzo di servizi cloud. Come posso passare all'utilizzo dei modelli locali e dell'elaborazione di Dell Pro AI Studio?
Dell Pro AI Studio è stato progettato per il trasferimento in modalità lift-and-shift di determinati carichi di lavoro nell'elaborazione locale. Se la tua attuale applicazione di intelligenza artificiale utilizza una configurazione API OpenAI, probabilmente disponi di un codice simile al codice riportato di seguito:
Esempio di codice Python:
client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)
your-custom-endpoint= URL dell'endpoint personalizzatoyour-api-key= La chiave API della tua IA
Dopo aver installato Dell Pro AI Studio, è possibile modificare la configurazione dell'applicazione da quella sopra riportata a quella sotto.
Esempio di codice Python:
client = OpenAI(
base_url="http://localhost:8553/v1/openai",
api_key="dpais"
)
La mia app richiede funzionalità di streaming, Dell Pro AI Studio Framework supporta lo streaming?
Assolutamente! In genere, il codice richiede l'aggiunta dell'argomento della parola chiave Stream in una chiamata di funzione.
Esempio di codice HTTP con Phi 3.5:
{
"model": "phi3.5",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello"},
],
"stream": "true"
}
Esempio di codice Python:
messages=[{"role": "system", "content": "You are concise."},
{"role": "user", "content": "Say hi"}]
resp = client.chat.completions.create(
model=Phi3.5,
messages=messages,
stream=True,
)