Создание параметризованной записной книжки с помощью Papermill

Параметризация в Azure Data Studio представляет собой запуск той же записной книжки с другим набором параметров.

В этой статье показано, как создать и запустить параметризованную записную книжку в Azure Data Studio с помощью ядра Python.

Примечание.

Сейчас параметризацию можно использовать с ядрами Python, PySpark, PowerShell и .NET Interactive.

Необходимые компоненты

• Azure Data Studio
• Python

Установка и настройка Papermill в Azure Data Studio

Все действия, описанные в этом разделе, выполняются в записной книжке Azure Data Studio.

1. Создайте новую записную книжку. Для параметра Ядро установите значение Python 3:

   

2. Если вам будет предложено обновить пакеты Python, требующие обновления, выберите Да:

   

3. Установите Papermill:

   import sys
   !{sys.executable} -m pip install papermill --no-cache-dir --upgrade
   

   Убедитесь, что приложение Papermill установлено:

   import sys
   !{sys.executable} -m pip list
   

   

4. Чтобы убедиться, что приложение Papermill установлено правильно, проверьте версию Papermill:

   import papermill
   papermill
   

   

Пример параметризации

Для выполнения действий, описанных в этой статье, можно использовать пример файла записной книжки:

1. Перейдите к файлу записной книжки в GitHub. Выберите Raw (Необработанный формат).
2. Нажмите CTRL+S или щелкните правой кнопкой мыши и сохраните файл с расширением .ipynb.
3. Откройте файл в Azure Data Studio.

Настройка параметризованной записной книжки

Вы можете начать с примера записной книжки, открытой в Azure Data Studio, или выполнить следующие действия, чтобы создать записную книжку. Затем попробуйте использовать различные параметры. Все действия выполняются в записной книжке Azure Data Studio.

1. Убедитесь, что для параметра Ядро установлено значение Python 3:

   

2. Создайте новую ячейку кода. Выберите Параметры, чтобы пометить ячейку как ячейку параметров.

   x = 2.0
   y = 5.0
   

   

3. Добавьте другие ячейки для тестирования различных параметров:

   addition = x + y
   multiply = x * y
   

   print("Addition: " + str(addition))
   print("Multiplication: " + str(multiply))
   

   После выполнения всех ячеек выходные данные будут выглядеть так, как показано в следующем примере:

   

4. Сохраните записную книжку в файле Input.ipynb.

   

Выполнение записной книжки Papermill

Записную книжку Papermill можно выполнить двумя способами:

• Интерфейс командной строки (CLI)
• API Python

Параметризованное выполнение через интерфейс командной строки

Чтобы выполнить записную книжку с помощью интерфейса командной строки (CLI), введите в окне терминала команду papermill, указав входную записную книжку, расположение выходной записной книжки и параметры.

Примечание.

Дополнительные сведения см. в документации по CLI Papermill.

1. Выполните входную записную книжку с новыми параметрами:

   papermill Input.ipynb Output.ipynb -p x 10 -p y 20
   

   Эта команда выполняет записную книжку с новыми значениями параметров x и y.

2. Новая ячейка с меткой # Injected-Parameters содержит новые значения параметров, которые были переданы через интерфейс командной строки. Новые значения # Injected-Parameters используются для новых выходных данных, показанных в последней ячейке:

   

Параметризованное выполнение API Python

Примечание.

Дополнительные сведения см. в документации по Python Papermill.

1. Создайте новую записную книжку. Для параметра Ядро установите значение Python 3:

   

2. Добавьте новую ячейку кода. Затем используйте API Python Papermill для выполнения и создания выходной параметризованной записной книжки:

   import papermill as pm
   
   pm.execute_notebook(
   '/Users/vasubhog/GitProjects/AzureDataStudio-Notebooks/Demo_Parameterization/Input.ipynb',
   '/Users/vasubhog/GitProjects/AzureDataStudio-Notebooks/Demo_Parameterization/Output.ipynb',
   parameters = dict(x = 10, y = 20)
   )
   

   

3. Новая ячейка с меткой # Injected-Parameters содержит новые значения параметров, которые были переданы. Новые значения # Injected-Parameters используются для новых выходных данных, показанных в последней ячейке:

   

Следующие шаги

Дополнительные сведения о записных книжках и параметризации:

• Использование записных книжек в Azure Data Studio
• Документация по параметризации в Papermill
• Параметризация URI
• Запустить с параметрами