Как начать работу с Dell Pro AI Studio с помощью примеров кода

Dell Pro AI Studio — это комплексный инструментарий, предназначенный для упрощения и ускорения разработки, развертывания и администрирования приложений ИИ на ПК Dell для ИИ.

Затронутые продукты:

• Профессиональный ИИ-студия Dell

В настоящее время моя программа использует API-интерфейсы OpenAI и настроена на использование облачных сервисов. Как перейти на использование локальных моделей и вычислительных ресурсов Dell Pro AI Studio?

Решение Dell Pro AI Studio предназначено для переноса определенных рабочих нагрузок на локальные вычислительные ресурсы. Если ваше текущее ИИ-приложение использует конфигурацию API-интерфейса OpenAI, у вас, вероятно, есть код, похожий на приведенный ниже:

Пример кода на Python:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

После установки Dell Pro AI Studio можно изменить конфигурацию приложения с указанной выше на указанную ниже.

Пример кода на Python:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Моему приложению требуется функция потоковой передачи. Поддерживает ли Dell Pro AI Studio Framework потоковую передачу?

Совершенно! Обычно в коде требуется аргумент ключевого слова Stream, добавленный в вызов функции.

Пример HTTP-кода с использованием Phi 3.5:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Пример кода на Python:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )