Ingérer la Voie lactée : Échelle pétaoctet avec Zerobus Ingest
Traduit de l'original anglais par IA. Voir en anglais
Zerobus Ingest, une nouvelle API de streaming sans serveur, permet le déploiement instantané de pipelines de données à l'échelle du pétaoctet sur Databricks sans gestion manuelle de l'infrastructure. Son architecture de partitionnement dynamique met automatiquement à l'échelle le calcul et maintient un débit de plus de 12 Go/s vers une seule table, gérant efficacement les volumes de données imprévisibles.
- Databricks Zerobus Ingest est une API de streaming sans serveur qui permet aux équipes de déployer instantanément des pipelines de données à l'échelle du pétaoctet sans gestion manuelle de l'infrastructure. - L'architecture de Zerobus repose sur le partitionnement dynamique pour mettre automatiquement à l'échelle les ressources de calcul, gérant efficacement les volumes de données imprévisibles sans réglage complexe. - Ce framework sans configuration gère facilement des charges de travail massives, démontrant la capacité à maintenir un débit de plus de 12 Go/s vers une seule table lors de benchmarks de 24 heures.