LiteLLM을 통한 모든 모델 사용
Note
LiteLLM 통합은 베타 단계입니다. 특히 소규모 모델 제공업체와 함께 사용할 때 문제가 발생할 수 있습니다. 문제가 있다면Github issues를 통해 보고해 주세요. 신속히 수정하겠습니다.
LiteLLM은 단일 인터페이스로 100개+ 모델을 사용할 수 있게 해주는 라이브러리입니다. 우리는 Agents SDK에서 아무 AI 모델이나 사용할 수 있도록 LiteLLM 통합을 추가했습니다.
설정
litellm이 사용 가능해야 합니다. 선택적litellm 의존성 그룹을 설치하여 설정할 수 있습니다:
설정이 완료되면, 어떤 에이전트에서든LitellmModel을 사용할 수 있습니다.
예시
다음은 완전한 동작 예시입니다. 실행하면 모델 이름과 API 키 입력을 요청합니다. 예를 들어 아래와 같이 입력할 수 있습니다:
- 모델에는
openai/gpt-4.1, 그리고 OpenAI API 키 - 모델에는
anthropic/claude-3-5-sonnet-20240620, 그리고 Anthropic API 키 - 기타 등등
LiteLLM이 지원하는 전체 모델 목록은litellm providers 문서를 참고하세요.
from__future__importannotationsimportasynciofromagentsimportAgent,Runner,function_tool,set_tracing_disabledfromagents.extensions.models.litellm_modelimportLitellmModel@function_tooldefget_weather(city:str):print(f"[debug] getting weather for{city}")returnf"The weather in{city} is sunny."asyncdefmain(model:str,api_key:str):agent=Agent(name="Assistant",instructions="You only respond in haikus.",model=LitellmModel(model=model,api_key=api_key),tools=[get_weather],)result=awaitRunner.run(agent,"What's the weather in Tokyo?")print(result.final_output)if__name__=="__main__":# First try to get model/api key from argsimportargparseparser=argparse.ArgumentParser()parser.add_argument("--model",type=str,required=False)parser.add_argument("--api-key",type=str,required=False)args=parser.parse_args()model=args.modelifnotmodel:model=input("Enter a model name for Litellm: ")api_key=args.api_keyifnotapi_key:api_key=input("Enter an API key for Litellm: ")asyncio.run(main(model,api_key))사용량 데이터 추적
LiteLLM 응답이 Agents SDK 사용량 메트릭에 반영되도록 하려면, 에이전트를 생성할 때ModelSettings(include_usage=True)를 전달하세요.
fromagentsimportAgent,ModelSettingsfromagents.extensions.models.litellm_modelimportLitellmModelagent=Agent(name="Assistant",model=LitellmModel(model="your/model",api_key="..."),model_settings=ModelSettings(include_usage=True),)include_usage=True를 사용하면, LiteLLM 요청은 기본 제공 OpenAI 모델과 마찬가지로result.context_wrapper.usage를 통해 토큰 및 요청 수를 보고합니다.