← 전체 뉴스
Databricks Blog2026년 6월 10일
모델에 맞춰 조정되는 AI 서빙 플랫폼
영어 원문을 AI가 번역했습니다. 영어로 보기
요약
Databricks는 이제 scikit-learn부터 70B LLM에 이르기까지 모델의 리소스 요구 사항에 자동으로 적응하는 완전 관리형 AI 서빙 플랫폼을 제공합니다. 수동 구성이 필요 없습니다. 이를 통해 자체 관리 스택에서 마이그레이션하는 고객은 인프라 비용을 최대 90% 절감하고 p99 지연 시간 오버헤드를 10ms 미만으로 유지할 수 있습니다.
* 기능: 2MB scikit-learn 분류기를 CPU 코어 하나에서 실행하는 것부터 8개의 GPU에서 미세 조정된 70B LLM을 실행하는 것까지, 어떤 모델이든 프로덕션에서 실행할 수 있는 완전 관리형 플랫폼입니다. 별도의 설정이 필요 없습니다. * 해결하는 과제: 사용자 지정 모델은 리소스 프로필과 트래픽 패턴이 매우 다양하여 단일 정적 구성으로는 모두에 적합하지 않습니다. 이 플랫폼은 대신 적응하여 지연 시간을 낮게 유지하면서 모든 노드를 효율적으로 유지합니다. * 결과: 자체 관리 스택에서 마이그레이션하는 고객의 경우 300K+ QPS에서 p99 지연 시간 오버헤드를 10ms 미만으로 유지하고 인프라 비용을 최대 90% 절감할 수 있습니다.