Encontre o tamanho de uma mesa

Este artigo explica como encontrar o tamanho de uma mesa.

O comando utilizado depende se estiver a tentar encontrar o tamanho de uma mesa delta ou de uma mesa não delta.

Tamanho de uma mesa delta

Para encontrar o tamanho de uma mesa delta, você pode usar um comando Apache Spark SQL.

import com.databricks.sql.transaction.tahoe._
val deltaLog = DeltaLog.forTable(spark, "dbfs:/<path-to-delta-table>")
val snapshot = deltaLog.snapshot               // the current delta table snapshot
println(s"Total file size (bytes): ${deltaLog.snapshot.sizeInBytes}"

Tamanho de uma tabela não delta

Pode determinar o tamanho de uma tabela não delta calculando a soma total dos ficheiros individuais dentro do diretório subjacente.

Também pode usar queryExecution.analyzed.stats para devolver o tamanho.

spark.read.table("<non-delta-table-name>").queryExecution.analyzed.stats