본문으로 건너뛰기
← 전체 뉴스
Databricks Blog2026년 6월 10일

모델에 맞게 적응하는 AI Serving 플랫폼

영어 원문을 AI가 번역했습니다. 영어로 보기

요약

Databricks는 scikit-learn 모델부터 70B LLM까지 수동 설정 없이 모델의 리소스 요구사항에 맞춰 자동으로 적응하는 완전 관리형 AI Serving 플랫폼을 제공합니다. 자체 관리형 스택에서 마이그레이션하는 고객은 인프라 비용을 최대 90%까지 절감하고 p99 지연 시간 오버헤드를 10ms 미만으로 유지할 수 있습니다.

* 제품 소개: CPU 코어 1개의 2MB scikit-learn 분류기부터 8개의 GPU를 사용하는 파인튜닝된 70B LLM까지, 복잡한 설정 없이 프로덕션 환경에서 모든 모델을 실행하는 완전 관리형 플랫폼. * 해결 과제: 커스텀 모델은 리소스 프로필과 트래픽 패턴이 제각기 다르기 때문에 단 하나의 정적 설정으로는 대응하기 어렵습니다. 이 플랫폼은 유연하게 적응하여 모든 노드의 효율성을 유지하면서 낮은 지연 시간을 보장합니다. * 주요 성과: 300K+ QPS 및 10ms 미만의 p99 지연 시간 오버헤드를 달성했으며, 자체 관리형 스택에서 전환한 고객의 인프라 비용을 최대 90% 절감.

관련 기사

News

Unity Gateway Insights 소개

databricks-blog10h ago
News

Microsoft 환경 속 Genie 신기능 소식: Copilot Cowork 및 채팅, Microsoft Teams, Excel 통합

databricks-blog16h ago
News

AUMOVIO가 Databricks Unity Gateway로 AI 접근을 중앙화한 방법

databricks-blog18h ago
News

Databricks 클러스터 생성 요청 제한을 7.5배 높인 방법

databricks-blog1d ago