REPAIR TABLE

  • Artigo

Aplica-se a:Marque Sim Databricks SQL Marque Sim Databricks Runtime

Este comando atualiza os metadados da tabela Delta para o serviço Catálogo Unity. Para tabelas não Delta, ele repara as partições da tabela e atualiza o metastore do Hive.

  • Tabelas delta: Quando executado com tabelas Delta usando o SYNC METADATA argumento, este comando lê o log delta da tabela de destino e atualiza as informações de metadados para o serviço Unity Catalog.
  • Tabelas não-Delta: Quando executado com tabelas não-Delta, este comando recupera todas as partições no diretório de uma tabela não-Delta e atualiza o metastore do Hive.

Sintaxe

[ MSCK ] REPAIR TABLE table_name
{
    [ {ADD | DROP | SYNC} PARTITIONS] | SYNC METADATA
}

Para Marque Sim Databricks SQL Marque Sim Databricks Runtime 12.2 LTS e superior, MSCK é opcional.

Parâmetros

  • table_name

    O nome da tabela. Se a tabela não puder ser encontrada, o Azure Databricks gerará um erro de TABLE_OR_VIEW_NOT_FOUND .

  • ADD ou DROP ou SYNCPARTITIONS

    Aplica-se a:Marque Sim Databricks SQL Marque Sim Databricks Runtime 10.4 LTS e superior

    Ao criar uma tabela não-Delta usando a PARTITIONED BY cláusula, as partições são geradas e registradas no metastore do Hive. No entanto, se você criar a tabela particionada a partir de dados existentes, as partições não serão registradas automaticamente no metastore do Hive. Execute MSCK REPAIR TABLE para registrar as partições.

    Outra maneira de recuperar partições é usar ALTER TABLE RECOVER PARTITIONS.

    Se a tabela estiver armazenada em cache, o comando limpará os dados armazenados em cache da tabela e todos os dependentes que se referem a ela. O cache é preenchido na próxima vez que a tabela ou os dependentes forem acessados.

    • O comando ADD adiciona novas partições ao catálogo de sessões para todas as subpastas na pasta da tabela base que não pertencem a nenhuma partição de tabela. ADD é o argumento padrão se nenhuma outra opção for especificada.
    • O comando DROP descarta todas as partições do catálogo de sessões que têm locais não existentes no sistema de arquivos.
    • SYNC é a combinação de DROP e ADD.

  • ** SYNC METADATA**

    Lê o log delta da tabela de destino e atualiza as informações de metadados no serviço Unity Catalog. Para executar esse comando, você deve ter privilégios MODIFY e SELECT na tabela de destino e USAGE do esquema pai e do catálogo. Este comando com esse argumento falhará se a tabela de destino não estiver armazenada no Unity Catalog.

    Se o Delta UniForm estiver habilitado, SYNC METADATA acionará a conversão manual dos metadados Delta atuais em metadados do Iceberg e sincronizará a versão mais recente do Iceberg para o endpoint Unity Catalog Iceberg. Consulte Formato Universal (UniForm) para compatibilidade do Iceberg com tabelas Delta.

Exemplos (tabelas não Delta Lake)

-- create a partitioned table from existing data /tmp/namesAndAges.parquet
> CREATE TABLE t1 (name STRING, age INT) USING parquet PARTITIONED BY (age)
  LOCATION "/tmp/namesAndAges.parquet";

-- SELECT * FROM t1 does not return results
> SELECT * FROM t1;

-- run MSCK REPAIR TABLE to recovers all the partitions
> MSCK REPAIR TABLE t1;

-- SELECT * FROM t1 returns results
> SELECT * FROM t1;
    name age
  ------- ---
  Michael  20
   Justin  19
     Andy  30

Exemplo (tabela Unity Catalog)

-- run MSCK REPAIR TABLE t1 SYNC METADATA to update the metadata info to Unity Catalog service
> MSCK REPAIR TABLE t1 SYNC METADATA