De grootte van een tabel zoeken

In dit artikel wordt uitgelegd hoe u de grootte van een tabel kunt vinden.

De opdracht die wordt gebruikt, is afhankelijk van of u de grootte van een deltatabel of een niet-deltatabel probeert te vinden.

Grootte van een Delta-tabel

Als u de grootte van een Delta-tabel wilt vinden, kunt u een Apache Spark SQL gebruiken.

import com.databricks.sql.transaction.tahoe._
val deltaLog = DeltaLog.forTable(spark, "dbfs:/<path-to-delta-table>")
val snapshot = deltaLog.snapshot               // the current delta table snapshot
println(s"Total file size (bytes): ${deltaLog.snapshot.sizeInBytes}")

Grootte van een niet-deltatabel

U kunt de grootte van een niet-deltatabel bepalen door de totale som van de afzonderlijke bestanden in de onderliggende map te berekenen.

U kunt ook gebruiken om queryExecution.analyzed.stats de grootte te retourneren.

spark.read.table("<non-delta-table-name>").queryExecution.analyzed.stats