Share via

API Pandas в Spark

  • Статья

Примечание.

Эта функция доступна в кластерах, которые выполняют Databricks Runtime 10.0 (неподдерживаемые) и более поздних версий. Для кластеров с Databricks Runtime 9.1 LTS и более ранних версий вместо нее следует использовать Koalas.

Pandas — это пакет Python, часто используемый специалистами по обработке и анализу данных, который предоставляет удобные в использовании структуры данных и средства анализа данных для языка программирования Python. Однако pandas не масштабируется до больших данных. API Pandas в Spark восполняет этот недостаток, предоставляя API-интерфейсы, эквивалентные Pandas, которые работают в Apache Spark. API Pandas в Spark полезен не только для пользователей Pandas, но и для пользователей PySpark, так как API Pandas в Spark поддерживает множество задач, которые трудно выполнить с помощью PySpark, например построение данных непосредственно из PySpark DataFrame.

Требования

API Pandas в Spark доступен начиная с Apache Spark 3.2 (который включается в Databricks Runtime 10.0 (неподдерживаемый)) с помощью следующей import инструкции:

import pyspark.pandas as ps

Записная книжка

В следующей записной книжке показано, как выполнить миграцию с Pandas на API Pandas в Spark.

Записная книжка для миграции с Pandas на API Pandas в Spark

Получить записную книжку

Ресурсы