Prise en main de Dell Pro AI Studio à l’aide d’exemples de code

Dell Pro AI Studio est un kit d’outils complet conçu pour simplifier et accélérer le développement, le déploiement et la gestion des applications d’IA sur les PC IA Dell.

Produits concernés :

• Dell Pro AI Studio

Mon programme utilise actuellement des API OpenAI et est configuré pour utiliser des services Cloud. Comment puis-je utiliser les modèles locaux et le calcul de Dell Pro AI Studio ?

Dell Pro AI Studio a été conçu pour déplacer certaines charges applicatives vers le calcul local. Si votre application d’IA actuelle utilise une configuration d’API OpenAI, vous disposez probablement d’un code qui ressemble au code ci-dessous :

Exemple de code Python :

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Une fois que vous avez installé Dell Pro AI Studio, vous pouvez modifier la configuration de votre application des éléments ci-dessus aux paramètres ci-dessous.

Exemple de code Python :

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Mon application nécessite une fonctionnalité de streaming. Le framework Dell Pro AI Studio prend-il en charge le streaming ?

Absolument! Habituellement, votre code a besoin de l’argument de mot-clé Stream ajouté dans un appel de fonction.

Exemple de code HTTP utilisant Phi 3.5 :

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Exemple de code Python :

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )