Rozpoczynanie pracy z programem Dell Pro AI Studio przy użyciu próbek kodu

Dell Pro AI Studio to kompleksowy zestaw narzędzi zaprojektowany z myślą o uproszczeniu i przyspieszeniu opracowywania i wdrażania aplikacji AI oraz zarządzania nimi na komputerach AI firmy Dell.

Dotyczy produktów:

• Dell Pro AI Studio

Mój program korzysta obecnie z interfejsów API OpenAI i jest skonfigurowany do korzystania z usług w chmurze. Jak przejść na korzystanie z lokalnych modeli i zasobów obliczeniowych Dell Pro AI Studio?

Program Dell Pro AI Studio został zaprojektowany z myślą o przenoszeniu niektórych obciążeń roboczych do lokalnych zasobów obliczeniowych. Jeśli Twoja bieżąca aplikacja AI korzysta z konfiguracji interfejsu API OpenAI, prawdopodobnie masz kod, który wygląda podobnie do poniższego kodu:

Przykładowy kod w języku Python:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Po zainstalowaniu oprogramowania Dell Pro AI Studio możesz zmienić konfigurację aplikacji z powyższych na poniższe.

Przykładowy kod w języku Python:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Moja aplikacja wymaga funkcji przesyłania strumieniowego, czy środowisko Dell Pro AI Studio Framework obsługuje przesyłanie strumieniowe?

Absolutnie! Zazwyczaj kod wymaga argumentu słowa kluczowego Stream dodanego w wywołaniu funkcji.

Przykład kodu http przy użyciu Phi 3.5:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Przykładowy kod w języku Python:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )