Como começar a usar o Dell Pro AI Studio usando amostras de código

O Dell Pro AI Studio é um kit de ferramentas abrangente projetado para simplificar e acelerar o desenvolvimento, a implementação e o gerenciamento de aplicativos de IA em PCs de IA da Dell.

Produtos afetados:

• Estúdio de IA Dell Pro

Atualmente, meu programa usa APIs OpenAI e está configurado para usar serviços em nuvem. Como posso fazer a transição para o uso de computação e modelos locais do Dell Pro AI Studio?

O Dell Pro AI Studio foi projetado para elevar determinadas cargas de trabalho e transferir determinadas cargas de trabalho para computação local. Se seu aplicativo de IA atual estiver usando uma configuração de API OpenAI, você provavelmente tem algum código parecido com o código abaixo:

Exemplo de código Python:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Depois de instalar o Dell Pro AI Studio, você pode alterar a configuração do aplicativo acima para a abaixo.

Exemplo de código Python:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Meu aplicativo requer funcionalidade de streaming. O Dell Pro AI Studio Framework oferece suporte a streaming?

Absolutamente! Normalmente, seu código precisa do argumento de palavra-chave Stream adicionado em uma chamada de função.

Exemplo de código Http usando Phi 3.5:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Exemplo de código Python:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )