Meta veri hatası içinde yinelenen sütunlar

Sorun

Apache Spark işiniz bir hata iletisiyle başarısız olduğunda bir Delta tablosunu işliyor.

org.apache.spark.sql.AnalysisException: Found duplicate column(s) in the metadata update: col1, col2...

Nedeni

Delta tablosunda yinelenen sütun adları var. Yalnızca büyük/küçük harfe göre farklılık gösteren sütun adları da yinelenen olarak değerlendirilir.

Delta Gölü, bir şemayı depolarken büyük/küçük harfe duyarsız olur.

Parquet, sütun bilgilerini depolarken ve döndürürken büyük/küçük harfe duyarlıdır.

Spark büyük/küçük harf duyarlı olabilir, ancak varsayılan olarak büyük/küçük harfe duyarlıdır.

Olası veri bozukluğunu veya veri kaybını önlemek için yinelenen sütun adlarına izin verilmez.

Çözüm

Delta tablolarında yinelenen sütun adları bulunmamalıdır.

Tüm sütun adlarının benzersiz olduğundan emin olun.