Fotão

Importante

Esta funcionalidade está em Pré-visualização Pública.

O fotão é o motor de consulta vectoriado nativo em Azure Databricks, escrito para ser diretamente compatível com As APIs de Faíscas Apache para que funcione com o seu código existente. É desenvolvido em C++ para tirar partido do hardware moderno, e usa as mais recentes técnicas no processamento de consultas vetoriais para capitalizar o paralelismo de dados e de nível de instrução em CPUs, melhorando o desempenho em dados e aplicações do mundo real - tudo de forma nativa no seu lago de dados. O fotão faz parte de um tempo de execução de alto desempenho que executa as chamadas API sql e dataframe existentes mais rapidamente e reduz o seu custo total por carga de trabalho.

Databricks PONTOS FINAIS SQL

O fotão é ativado por padrão nos pontos finais SQL de Databricks. Pode confirmar que o Photon está ativado para um ponto final SQL clicando  em Endpoints Icon Endpoints na barra lateral, selecionando o ponto final e verificando se o valor do Fotão está ligado.

Vantagens

Resume as vantagens do Fotão:

  • Suporta sql contra as tabelas Delta e Parquet.
  • Espera-se que acelere as consultas que processam uma quantidade significativa de dados (100GB+) e incluem agregações e junções.
  • Desempenho de digitalização mais robusto em tabelas com muitas colunas e muitos ficheiros pequenos.
  • A escrita delta e parquet mais rápidas UPDATE usando, , , e , DELETE MERGE INTO INSERT CREATE TABLE AS SELECT especialmente para mesas largas (centenas a milhares de colunas).
  • O fotão substitui as juntas de fusão de classificação por junções de haxixe.

Limitações

  • Trabalha nas tabelas Delta e Parquet apenas para ler e escrever.
  • Não suporta os seguintes tipos de dados:
    • Mapa
    • Matriz
  • Não suporta operadores de janelas e classificações
  • Não se espera que melhore as operações engarrafadas por rede ou e-i/O de digitalização.
  • Não se espera que melhore as consultas de curto prazo (<2 segundos), por exemplo, contra pequenos dados.