Cómo comenzar a utilizar Dell Pro AI Studio mediante muestras de código

Dell Pro AI Studio es un kit de herramientas integral diseñado para simplificar y acelerar el desarrollo, la implementación y la administración de aplicaciones de IA en las PC Dell AI.

Productos afectados:

• Estudio de IA Dell Pro

Mi programa utiliza actualmente las API de OpenAI y está configurado para utilizar servicios en la nube. ¿Cómo puedo realizar la transición al uso de modelos y computación locales de Dell Pro AI Studio?

Dell Pro AI Studio se diseñó para migrar ciertas cargas de trabajo a la computación local. Si su aplicación de IA actual utiliza una configuración de API de OpenAI, es probable que tenga algún código que se parezca al siguiente:

Ejemplo de código Python:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Una vez que haya instalado Dell Pro AI Studio, puede cambiar la configuración de la aplicación de la anterior a la siguiente.

Ejemplo de código Python:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Mi aplicación requiere funcionalidad de streaming, ¿Dell Pro AI Studio Framework es compatible con streaming?

¡Absolutamente! Normalmente, el código necesita el argumento de palabra clave Stream agregado en una llamada de función.

Ejemplo de código HTTP con Phi 3.5:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Ejemplo de código Python:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )