Erste Schritte mit Dell Pro AI Studio anhand von Codebeispielen

Dell Pro AI Studio ist ein umfassendes Toolkit, das entwickelt wurde, um die Entwicklung, die Bereitstellung und das Management von KI-Anwendungen auf Dell KI-PCs zu vereinfachen und zu beschleunigen.

Betroffene Produkte:

• Dell Pro AI Studio

Mein Programm verwendet derzeit OpenAI-APIs und ist für die Verwendung von Cloud-Services eingerichtet. Wie kann ich auf die Verwendung lokaler Modelle und Compute-Lösungen von Dell Pro AI Studio umsteigen?

Dell Pro AI Studio wurde entwickelt, um bestimmte Workloads auf lokales Compute zu verlagern. Wenn Ihre aktuelle KI-Anwendung eine OpenAI-API-Konfiguration verwendet, verfügen Sie wahrscheinlich über Code, der wie der folgende Code aussieht:

Python-Codebeispiel:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Nachdem Sie Dell Pro AI Studio installiert haben, können Sie Ihre Anwendungskonfiguration von oben in unten ändern.

Python-Codebeispiel:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Meine App erfordert Streamingfunktionalität. Unterstützt Dell Pro AI Studio Framework Streaming?

Absolut! In der Regel benötigt der Code das Stream-Schlüsselwortargument, das in einem Funktionsaufruf hinzugefügt wird.

HTTP-Codebeispiel mit Phi 3.5:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Python-Codebeispiel:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )