Kod Örneklerini Kullanarak Dell Pro AI Studio'yu Kullanmaya Başlama

Dell Pro AI Studio, Dell AI bilgisayarlarda AI uygulamalarının geliştirilmesini, dağıtımını ve yönetimini basitleştirmek ve hızlandırmak için tasarlanmış kapsamlı bir araç takımıdır.

Etkilenen Ürünler:

• Dell Pro AI Studio

Programım şu anda OpenAI API'lerini kullanıyor ve bulut hizmetlerini kullanacak şekilde ayarlandı. Dell Pro AI Studio yerel modellerini ve bilgi işlemi kullanmaya nasıl geçebilirim?

Dell Pro AI Studio, belirli iş yüklerini kaldırarak yerel bilgi işleme taşımak için tasarlanmıştır. Mevcut AI uygulamanız bir OpenAI API yapılandırması kullanıyorsa, muhtemelen aşağıdaki koda benzeyen bir kodunuz vardır:

Python kod örneği:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Dell Pro AI Studio'yu yükledikten sonra, uygulama yapılandırmanızı yukarıdakinden aşağıya değiştirebilirsiniz.

Python kod örneği:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

Uygulamam akış işlevi gerektiriyor, Dell Pro AI Studio Framework akışı destekler mi?

Kesinlikle! Genellikle, kodunuzun bir işlev çağrısına Stream anahtar sözcüğü bağımsız değişkeninin eklenmesi gerekir.

Phi 3.5 kullanan Http kodu örneği:

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Python kod örneği:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )