Jak začít pracovat s nástrojem Dell Pro AI Studio pomocí ukázek kódu

Dell Pro AI Studio je komplexní sada nástrojů navržená pro zjednodušení a urychlení vývoje, nasazení a správy aplikací AI v počítačích Dell s umělou inteligencí.

Dotčené produkty:

• Dell Pro AI Studio

Můj program v současné době používá OpenAI API a je nastaven tak, aby používal cloudové služby. Jak mohu přejít na používání místních modelů a výpočetních výpočtů Dell Pro AI Studio?

Nástroj Dell Pro AI Studio byl navržen s cílem přesunout určité úlohy na místní výpočetní techniku. Pokud vaše aktuální aplikace AI používá konfiguraci OpenAI API, pravděpodobně máte nějaký kód, který vypadá jako níže uvedený kód:

Příklad kódu Python:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Po instalaci aplikace Dell Pro AI Studio můžete změnit konfiguraci aplikace z výše uvedené na níže uvedenou konfiguraci.

Příklad kódu Python:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Moje aplikace vyžaduje funkci streamování, podporuje Dell Pro AI Studio Framework datový proudění?

Naprosto! Kód obvykle potřebuje Stream argument klíčového slova přidaný do volání funkce.

Příklad kódu HTTP s použitím Phi 3.5:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Příklad kódu Python:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )