Rozpoczynanie pracy z programem Dell Pro AI Studio przy użyciu próbek kodu
Summary: Dowiedz się więcej o podstawowych przykładach kodu, które mogą pomóc programistom i specjalistom IT rozpocząć korzystanie z możliwości rozwiązania Dell Pro AI Studio.
Instructions
Dell Pro AI Studio to kompleksowy zestaw narzędzi zaprojektowany z myślą o uproszczeniu i przyspieszeniu opracowywania i wdrażania aplikacji AI oraz zarządzania nimi na komputerach AI firmy Dell.
Dotyczy produktów:
- Dell Pro AI Studio
Mój program korzysta obecnie z interfejsów API OpenAI i jest skonfigurowany do korzystania z usług w chmurze. Jak przejść na korzystanie z lokalnych modeli i zasobów obliczeniowych Dell Pro AI Studio?
Program Dell Pro AI Studio został zaprojektowany z myślą o przenoszeniu niektórych obciążeń roboczych do lokalnych zasobów obliczeniowych. Jeśli Twoja bieżąca aplikacja AI korzysta z konfiguracji interfejsu API OpenAI, prawdopodobnie masz kod, który wygląda podobnie do poniższego kodu:
Przykładowy kod w języku Python:
client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)
your-custom-endpoint= Adres URL niestandardowego punktu końcowegoyour-api-key= Klucz API Twojej sztucznej inteligencji
Po zainstalowaniu oprogramowania Dell Pro AI Studio możesz zmienić konfigurację aplikacji z powyższych na poniższe.
Przykładowy kod w języku Python:
client = OpenAI(
base_url="http://localhost:8553/v1/openai",
api_key="dpais"
)
Moja aplikacja wymaga funkcji przesyłania strumieniowego, czy środowisko Dell Pro AI Studio Framework obsługuje przesyłanie strumieniowe?
Absolutnie! Zazwyczaj kod wymaga argumentu słowa kluczowego Stream dodanego w wywołaniu funkcji.
Przykład kodu http przy użyciu Phi 3.5:
{
"model": "phi3.5",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello"},
],
"stream": "true"
}
Przykładowy kod w języku Python:
messages=[{"role": "system", "content": "You are concise."},
{"role": "user", "content": "Say hi"}]
resp = client.chat.completions.create(
model=Phi3.5,
messages=messages,
stream=True,
)