코드 샘플을 사용하여 Dell Pro AI Studio를 시작하는 방법

Dell Pro AI Studio는 Dell AI PC에서 AI 애플리케이션의 개발, 배포 및 관리를 간소화하고 가속화하도록 설계된 포괄적인 툴킷입니다.

영향을 받는 제품:

• Dell Pro AI 스튜디오

내 프로그램은 현재 OpenAI API를 사용하며 클라우드 서비스를 사용하도록 설정되어 있습니다. Dell Pro AI Studio 로컬 모델 및 컴퓨팅을 사용하도록 전환하려면 어떻게 해야 합니까?

Dell Pro AI Studio는 특정 워크로드를 로컬 컴퓨팅으로 리프트 앤 시프트하도록 설계되었습니다. 현재 AI 애플리케이션이 OpenAI API 구성을 사용하는 경우 아래 코드와 같은 코드가 있을 수 있습니다.

Python 코드 예제:

client = OpenAI(
base_url="https://your-custom-endpoint",
api_key="your-api-key",
)

Dell Pro AI Studio를 설치한 후에는 애플리케이션 구성을 위에서 아래와 같이 변경할 수 있습니다.

Python 코드 예제:

client = OpenAI(
    base_url="http://localhost:8553/v1/openai",
    api_key="dpais"
)

앱에 스트리밍 기능이 필요합니다. Dell Pro AI Studio 프레임워크가 스트리밍을 지원합니까?

절대로! 일반적으로 코드에는 함수 호출에 Stream 키워드 인수가 추가되어야 합니다.

Phi 3.5를 사용하는 Http 코드 예 :

{
        "model": "phi3.5",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user",   "content": "Hello"},
        ],
        "stream": "true"
    }

Python 코드 예제:

messages=[{"role": "system", "content": "You are concise."},
                {"role": "user",   "content": "Say hi"}]
resp = client.chat.completions.create(
            model=Phi3.5,
            messages=messages,
            stream=True,
        )