Як розпочати роботу з Dell Pro AI Studio за допомогою зразків коду
Summary: Дізнайтеся про основні зразки коду, які можуть допомогти розробникам і IT-фахівцям розпочати використання можливостей Dell Pro AI Studio.
Instructions
Dell Pro AI Studio — це комплексний набір інструментів, призначений для спрощення та прискорення розробки, розгортання та керування програмами штучного інтелекту на ПК Dell AI.
Продукти, на які вплинули:
- Студія Dell Pro AI
Моя програма зараз використовує API OpenAI і налаштована на використання хмарних сервісів. Як я можу перейти на використання локальних моделей і обчислень Dell Pro AI Studio?
Dell Pro AI Studio була розроблена для зняття та перенесення певних робочих навантажень на локальні обчислення. Якщо ваша поточна програма штучного інтелекту використовує конфігурацію OpenAI API, у вас, ймовірно, є якийсь код, який виглядає як код нижче:
Приклад коду на Python:
client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)
your-custom-endpoint= URL-адреса вашої користувацької кінцевої точкиyour-api-key= Ключ API вашого штучного інтелекту
Після того, як ви встановили Dell Pro AI Studio, ви можете змінити конфігурацію програми з наведеної вище на нижче.
Приклад коду на Python:
client = OpenAI(
base_url="http://localhost:8553/v1/openai",
api_key="dpais"
)
Для роботи моєї програми потрібна функція потокового передавання, чи підтримує Dell Pro AI Studio Framework потокову передачу?
Абсолютно! Зазвичай, ваш код потребує додавання аргументу ключового слова Stream під час виклику функції.
Приклад http-коду з використанням Phi 3.5:
{
"model": "phi3.5",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello"},
],
"stream": "true"
}
Приклад коду на Python:
messages=[{"role": "system", "content": "You are concise."},
{"role": "user", "content": "Say hi"}]
resp = client.chat.completions.create(
model=Phi3.5,
messages=messages,
stream=True,
)