대규모 언어 모델을 기반으로 한 서비스를 구축하고 최적화하려는 개발자.
LLM 게이트웨이, 실시간 모니터링 및 관찰성, 자동 성능 최적화, 평가 및 실험 도구
개발자 수준의 기술 이해와 설정이 필요하며, 프로덕션 환경 구축에 상당한 개발 시간이 소요될 수 있습니다.
web
An open-source framework for building production-grade LLM applications. It unifies an LLM gateway, observability, optimization, evaluations, and experimentation.