Respostas Aproximadas, Decisões Exatas: Novas Funções Sketch para Análise
Traduzido do original em inglês por IA. Ver em inglês
A Databricks agora oferece novas funções sketch para respostas aproximadas a perguntas de análise, incluindo sketches de quantis KLL para percentis, sketches Theta e Tuple para sobreposição de público, e funções Top-K aproximadas para tendências em tempo real. Essas funções permitem cálculos mais rápidos e eficientes em termos de memória sobre conjuntos de dados massivos, com sketches mescláveis para atualizações incrementais e contagem e agregação combinadas.
- Percentis em milissegundos, não minutos: Os sketches de quantis KLL calculam P50, P90, P99 sobre conjuntos de dados massivos em memória constante. Armazene sketches e mescle-os para atualizações incrementais instantâneas. - Sobreposição de público a uma fração do custo: Os sketches Theta e Tuple realizam uniões, interseções e diferenças de conjuntos em conjuntos de valores distintos. Os sketches Tuple também associam métricas (somas, mínimos, máximos) a cada chave para contagem e agregação combinadas. - Tendências em tempo real sem reprocessamento: As funções Top-K aproximadas identificam os itens mais frequentes em memória limitada, mescláveis entre janelas de tempo.