Erste Schritte mit Dell Pro AI Studio anhand von Codebeispielen
Summary: Erfahren Sie mehr über wesentliche Codebeispiele, die Entwicklern und IT-Experten den Einstieg in die Nutzung der Leistungsfähigkeit von Dell Pro AI Studio erleichtern können.
Instructions
Dell Pro AI Studio ist ein umfassendes Toolkit, das entwickelt wurde, um die Entwicklung, die Bereitstellung und das Management von KI-Anwendungen auf Dell KI-PCs zu vereinfachen und zu beschleunigen.
Betroffene Produkte:
- Dell Pro AI Studio
Mein Programm verwendet derzeit OpenAI-APIs und ist für die Verwendung von Cloud-Services eingerichtet. Wie kann ich auf die Verwendung lokaler Modelle und Compute-Lösungen von Dell Pro AI Studio umsteigen?
Dell Pro AI Studio wurde entwickelt, um bestimmte Workloads auf lokales Compute zu verlagern. Wenn Ihre aktuelle KI-Anwendung eine OpenAI-API-Konfiguration verwendet, verfügen Sie wahrscheinlich über Code, der wie der folgende Code aussieht:
Python-Codebeispiel:
client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)
your-custom-endpoint= Die URL Ihres benutzerdefinierten Endpunktsyour-api-key= Der API-Schlüssel Ihrer KI
Nachdem Sie Dell Pro AI Studio installiert haben, können Sie Ihre Anwendungskonfiguration von oben in unten ändern.
Python-Codebeispiel:
client = OpenAI(
base_url="http://localhost:8553/v1/openai",
api_key="dpais"
)
Meine App erfordert Streamingfunktionalität. Unterstützt Dell Pro AI Studio Framework Streaming?
Absolut! In der Regel benötigt der Code das Stream-Schlüsselwortargument, das in einem Funktionsaufruf hinzugefügt wird.
HTTP-Codebeispiel mit Phi 3.5:
{
"model": "phi3.5",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello"},
],
"stream": "true"
}
Python-Codebeispiel:
messages=[{"role": "system", "content": "You are concise."},
{"role": "user", "content": "Say hi"}]
resp = client.chat.completions.create(
model=Phi3.5,
messages=messages,
stream=True,
)