← 전체 뉴스
Databricks Blog2026년 6월 10일
모델에 맞게 적응하는 AI Serving 플랫폼
영어 원문을 AI가 번역했습니다. 영어로 보기
요약
Databricks는 scikit-learn 모델부터 70B LLM까지 수동 설정 없이 모델의 리소스 요구사항에 맞춰 자동으로 적응하는 완전 관리형 AI Serving 플랫폼을 제공합니다. 자체 관리형 스택에서 마이그레이션하는 고객은 인프라 비용을 최대 90%까지 절감하고 p99 지연 시간 오버헤드를 10ms 미만으로 유지할 수 있습니다.
* 제품 소개: CPU 코어 1개의 2MB scikit-learn 분류기부터 8개의 GPU를 사용하는 파인튜닝된 70B LLM까지, 복잡한 설정 없이 프로덕션 환경에서 모든 모델을 실행하는 완전 관리형 플랫폼. * 해결 과제: 커스텀 모델은 리소스 프로필과 트래픽 패턴이 제각기 다르기 때문에 단 하나의 정적 설정으로는 대응하기 어렵습니다. 이 플랫폼은 유연하게 적응하여 모든 노드의 효율성을 유지하면서 낮은 지연 시간을 보장합니다. * 주요 성과: 300K+ QPS 및 10ms 미만의 p99 지연 시간 오버헤드를 달성했으며, 자체 관리형 스택에서 전환한 고객의 인프라 비용을 최대 90% 절감.