Як розпочати роботу з Dell Pro AI Studio за допомогою зразків коду

Dell Pro AI Studio — це комплексний набір інструментів, призначений для спрощення та прискорення розробки, розгортання та керування програмами штучного інтелекту на ПК Dell AI.

Продукти, на які вплинули:

• Студія Dell Pro AI

Моя програма зараз використовує API OpenAI і налаштована на використання хмарних сервісів. Як я можу перейти на використання локальних моделей і обчислень Dell Pro AI Studio?

Dell Pro AI Studio була розроблена для зняття та перенесення певних робочих навантажень на локальні обчислення. Якщо ваша поточна програма штучного інтелекту використовує конфігурацію OpenAI API, у вас, ймовірно, є якийсь код, який виглядає як код нижче:

Приклад коду на Python:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Після того, як ви встановили Dell Pro AI Studio, ви можете змінити конфігурацію програми з наведеної вище на нижче.

Приклад коду на Python:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Для роботи моєї програми потрібна функція потокового передавання, чи підтримує Dell Pro AI Studio Framework потокову передачу?

Абсолютно! Зазвичай, ваш код потребує додавання аргументу ключового слова Stream під час виклику функції.

Приклад http-коду з використанням Phi 3.5:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Приклад коду на Python:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )