FSCK REPAIR TABLE

  • Article

S’applique à :check marked yes Databricks SQL check marked yes Databricks Runtime

Supprime les entrées de fichier du journal des transactions d'une table Delta qui ne peuvent plus être trouvées dans le système de fichiers sous-jacent. Cela peut se produire lorsque ces fichiers ont été supprimés manuellement.

Syntaxe

FSCK REPAIR TABLE table_name [DRY RUN]

Paramètres

  • table_name

    Identifie une table Delta existante. Le nom ne doit pas inclure une spécification temporelle.

  • DRY RUN

    Affiche des informations sur les entrées de fichier qui seront supprimées du journal des transactions d’une table Delta par FSCK REPAIR TABLE, car elles ne se trouvent plus dans le système de fichiers sous-jacent. Cela peut se produire lorsque ces fichiers ont été supprimés manuellement. Les entrées de fichier sont soit un chemin d’accès de fichier de données, soit une combinaison d’un chemin d’accès de fichier de données et d’un chemin d’accès de fichier de vecteur de suppression. Des entrées de fichier sont incluses dans la sortie lorsque le fichier de données est manquant, lorsque le fichier de vecteur de suppression est manquant ou lorsque les deux sont manquants.

    Par défaut, DRY RUN renvoie uniquement les 1 000 premiers fichiers. Vous pouvez augmenter ce seuil en définissant la variable SparkSession spark.databricks.delta.fsck.maxNumEntriesInResult sur une valeur supérieure avant d’exécuter la commande dans un notebook.

Retours

Pour DRY RUN un rapport du formulaire :

  • dataFilePath STRING NOT NULL
  • dataFileMissing BOOLEAN NOT NULL
  • deletionVectorPath STRING
  • deletionVectorFileMissing BOOLEAN NOT NULL

Exemples

— Assume file1.parquet is missing and no DV is expected.
> FSCK REPAIR TABLE t DRY RUN;
  dataFilePath dataFileMissing deletionVectorPath deletionVectorFileMissing
 ------------- --------------- ------------------ -------------------------
 file1.parquet            true               null                     false

— Assume dv1.bin is missing.
> FSCK REPAIR TABLE t DRY RUN;
  dataFilePath dataFileMissing deletionVectorPath deletionVectorFileMissing
 ------------- --------------- ------------------ -------------------------
 file1.parquet           false            dv1.bin                      true