Ingerindo a Via Láctea: Escala de Petabytes com Zerobus Ingest
Traduzido do original em inglês por IA. Ver em inglês
Zerobus Ingest, uma nova API de streaming serverless, permite a implantação instantânea de pipelines de dados em escala de petabytes no Databricks sem gerenciamento manual de infraestrutura. Sua arquitetura de particionamento dinâmico escala automaticamente a computação e sustenta um throughput de mais de 12 GB/s para uma única tabela, lidando eficientemente com volumes de dados imprevisíveis.
- Databricks Zerobus Ingest é uma API de streaming serverless que permite às equipes implantar instantaneamente pipelines de dados em escala de petabytes sem gerenciamento manual de infraestrutura. - A arquitetura do Zerobus depende de particionamento dinâmico para escalar automaticamente os recursos de computação, lidando eficientemente com volumes de dados imprevisíveis sem ajuste complexo. - Este framework de configuração zero processa facilmente cargas de trabalho massivas, demonstrando a capacidade de sustentar um throughput de mais de 12 GB/s para uma única tabela durante benchmarks de 24 horas.