Архивные заметки о выпуске

Статья
04/16/2024

Итоги

Azure HDInsight является одной из самых популярных среди корпоративных клиентов служб для аналитики с открытым кодом в Azure. Подпишитесь на заметки о выпуске HDInsight, чтобы получить актуальные сведения о HDInsight и всех версиях HDInsight.

Чтобы подписаться, нажмите кнопку "Смотреть" в баннере и следите за выпусками HDInsight.

Сведения о выпуске

Дата выпуска: 15 февраля 2024 г.

Этот выпуск относится к версиям HDInsight 4.x и 5.x. Выпуск HDInsight будет доступен всем регионам в течение нескольких дней. Этот выпуск применим для номера образа 2401250802. Как проверить номер образа?

HDInsight использует методы безопасного развертывания, которые предполагают постепенное развертывание области. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.

Версии ОС

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Примечание.

Ubuntu 18.04 поддерживается в рамках расширенного обслуживания безопасности (ESM) командой Linux Azure для Azure HDInsight июля 2023 г.

Сведения о конкретных версиях рабочей нагрузки см. в разделе

Новые возможности

Поддержка Apache Ranger для Spark SQL в Spark 3.3.0 (HDInsight версии 5.1) с корпоративным пакетом безопасности. Дополнительные сведения см. здесь.

Устраненные проблемы

Исправления безопасности из компонентов Ambari и Oozie

Скоро

Базовые и стандартные виртуальные машины серии A.
- 31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD).
- Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure.

Вы всегда можете попросить нас о HDInsight в Azure HDInsight — Microsoft Q&A

Мы слушаем: вы можете добавить дополнительные идеи и другие темы здесь и проголосовать за них - HDInsight Идеи и следовать нам за дополнительными обновлениями в сообществе AzureHDInsight

Примечание.

Мы советуем клиентам использовать последние версии образов HDInsight, так как они приносят лучшие открытый код обновления, обновления Azure и исправления безопасности. Дополнительные сведения см. в статье с рекомендациями.

Следующие шаги

Azure HDInsight. Часто задаваемые вопросы
Настройка расписания применения исправлений ОС для кластеров HDInsight на основе Linux
Примечание к предыдущему выпуску

Azure HDInsight является одной из самых популярных среди корпоративных клиентов служб для аналитики с открытым кодом в Azure. Если вы хотите подписаться на заметки о выпуске, перейдите в этот репозиторий GitHub.

Дата выпуска: 10 января 2024 г.

Этот выпуск исправлений относится к версиям HDInsight 4.x и 5.x. Выпуск HDInsight будет доступен всем регионам в течение нескольких дней. Этот выпуск применим для номера образа 2401030422. Как проверить номер образа?

Версии ОС

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Примечание.

Сведения о конкретных версиях рабочей нагрузки см. в разделе

Устраненные проблемы

Исправления безопасности из компонентов Ambari и Oozie

Скоро

Базовые и стандартные виртуальные машины серии A.
- 31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD).
- Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure.

Вы всегда можете попросить нас о HDInsight в Azure HDInsight — Microsoft Q&A

Примечание.

Дата выпуска: 26 октября 2023 г.

Этот выпуск относится к выпуску HDInsight 4.x и 5.x HDInsight, который будет доступен всем регионам в течение нескольких дней. Этот выпуск применим для номера образа 2310140056. Как проверить номер образа?

Версии ОС

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Сведения о конкретных версиях рабочей нагрузки см. в разделе

Новые возможности

HDInsight объявляет о общедоступной доступности HDInsight 5.1, начиная с 1 ноября 2023 г. В этом выпуске выполняется полное обновление стека для компонентов открытый код и интеграции от Корпорации Майкрософт.
- Последняя версия с открытым исходным кодом — HDInsight 5.1 поставляется с последней стабильной версией с открытым исходным кодом. Клиенты могут воспользоваться всеми новейшими функциями открытый код, улучшениями производительности Майкрософт и исправлениями ошибок.
- Безопасная — последние версии поставляются с последними исправлениями безопасности, исправлениями безопасности с открытым исходным кодом и улучшениями безопасности корпорации Майкрософт.
- Более низкий уровень производительности — благодаря улучшению производительности клиенты могут снизить операционные затраты, а также повысить автомасштабирование.
Разрешения кластера для безопасного хранилища
- Клиенты могут указать (во время создания кластера), следует ли использовать безопасный канал для узлов кластера HDInsight для подключения учетной записи хранения.
Создание кластера HDInsight с помощью пользовательских виртуальных сетей.
- Чтобы повысить общую безопасность кластеров HDInsight, кластеры HDInsight с помощью пользовательских виртуальных сетей должны убедиться, что пользователю необходимо иметь разрешение на Microsoft Network/virtualNetworks/subnets/join/action выполнение операций создания. Клиент может столкнуться с ошибками создания, если эта проверка не включена.
Отличные от ESP ABFS кластеры [разрешения кластера для Word Readable]
- Кластеры ABFS, отличные от ESP, ограничивают пользователей группы Hadoop от выполнения команд Hadoop для операций хранения. Это изменение повышает уровень безопасности кластера.
Обновление квоты в строке.
- Теперь вы можете запросить увеличение квоты непосредственно с страницы "Моя квота", при этом прямой вызов API гораздо быстрее. В случае сбоя вызова API можно создать новый запрос на поддержку для увеличения квоты.

Скоро

Максимальная длина имени кластера будет сокращена с 59 до 45 символов, чтобы повысить уровень безопасности. Это изменение будет развернуто во всех регионах, начиная с предстоящего выпуска.
Базовые и стандартные виртуальные машины серии A.
- 31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD).
- Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure.

Вы всегда можете попросить нас о HDInsight в Azure HDInsight — Microsoft Q&A

Примечание.

В этом выпуске рассматриваются следующие CVEs, выпущенные MSRC 12 сентября 2023 года. Действие заключается в обновлении до последней версии образа 2308221128 или 2310140056. Клиентам рекомендуется планировать соответствующим образом.

CVE	Важность	Название CVE	Комментарий
CVE-2023-38156	Внимание	Уязвимость, связанная с повышением привилегий Apache Ambari в Azure HDInsight	Включено в образе 2308221128 или 2310140056
CVE-2023-36419	Внимание	Уязвимость, связанная с повышением привилегий планировщика рабочих процессов Apache Oozie в Azure HDInsight	Примените действие скрипта в своих кластерах или обновите образ до версии 2310140056

Примечание.

Дата выпуска: 7 сентября 2023 г.

Этот выпуск относится к выпуску HDInsight 4.x и 5.x HDInsight, который будет доступен всем регионам в течение нескольких дней. Этот выпуск применим для номера образа 2308221128. Как проверить номер образа?

Версии ОС

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Сведения о конкретных версиях рабочей нагрузки см. в разделе

Внимание

В этом выпуске рассматриваются следующие CVEs, выпущенные MSRC 12 сентября 2023 года. Действие заключается в обновлении до последней версии образа 2308221128. Клиентам рекомендуется планировать соответствующим образом.

CVE	Важность	Название CVE	Комментарий
CVE-2023-38156	Внимание	Уязвимость, связанная с повышением привилегий Apache Ambari в Azure HDInsight	Включена на образ 2308221128
CVE-2023-36419	Внимание	Уязвимость, связанная с повышением привилегий планировщика рабочих процессов Apache Oozie в Azure HDInsight	Применение действия скрипта к кластерам

Скоро

Максимальная длина имени кластера будет сокращена с 59 до 45 символов, чтобы повысить уровень безопасности. Это изменение будет реализовано 30 сентября 2023 г.
Разрешения кластера для безопасного хранилища
- Клиенты могут указать (во время создания кластера), следует ли использовать безопасный канал для узлов кластера HDInsight для связи с учетной записью хранения.
Обновление квоты в строке.
- Квоты запросов увеличиваются непосредственно с страницы "Моя квота", которая будет прямым вызовом API, который быстрее. Если вызов APdI завершается сбоем, клиенты должны создать новый запрос на поддержку для увеличения квоты.
Создание кластера HDInsight с помощью пользовательских виртуальных сетей.
- Чтобы повысить общую безопасность кластеров HDInsight, кластеры HDInsight с помощью пользовательских виртуальных сетей должны убедиться, что пользователю необходимо иметь разрешение на Microsoft Network/virtualNetworks/subnets/join/action выполнение операций создания. Клиентам потребуется планировать соответствующее изменение, так как это изменение будет обязательным проверка, чтобы избежать сбоев создания кластера до 30 сентября 2023 года. 
Базовые и стандартные виртуальные машины серии A.
- 31 августа 2024 г. мы отставим от виртуальных машин серии "Базовый" и "Стандартный" серии A. До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD). Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Отказоустойчивые кластеры ABFS [разрешения кластера для Word Readable]
- Запланируйте изменение в кластерах ABFS, отличных от ESP, что ограничивает пользователей группы, отличных от Hadoop, выполнять команды Hadoop для операций хранения. Это изменение для улучшения состояния безопасности кластера. Клиентам необходимо планировать обновления до 30 сентября 2023 г.

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure.

Вы всегда можете попросить нас о HDInsight в Azure HDInsight — Microsoft Q&A

Вы можете добавить дополнительные предложения и идеи и другие темы здесь и проголосовать за них - HDInsight Community (azure.com).

Примечание.

Дата выпуска: 25 июля 2023 г.

Этот выпуск относится к выпуску HDInsight 4.x и 5.x HDInsight, который будет доступен всем регионам в течение нескольких дней. Этот выпуск применим для номера образа 2307201242. Как проверить номер образа?

Версии ОС

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Сведения о конкретных версиях рабочей нагрузки см. в разделе

Новые возможности

HDInsight 5.1 теперь поддерживается в кластере ESP.
Обновленная версия Ranger 2.3.0 и Oozie 5.2.1 теперь являются частью HDInsight 5.1
Кластер Spark 3.3.1 (HDInsight 5.1) поставляется с кластером Hive Warehouse Подключение or (HWC) 2.1, который работает вместе с кластером интерактивных запросов (HDInsight 5.1).
Ubuntu 18.04 поддерживается в рамках ESM(расширенного обслуживания безопасности) командой Linux Azure для Azure HDInsight июля 2023 г.

Внимание

В этом выпуске рассматриваются следующие CVEs, выпущенные MSRC 8 августа 2023 года. Действие заключается в обновлении до последней версии образа 2307201242. Клиентам рекомендуется планировать соответствующим образом.

CVE	Важность	Название CVE
CVE-2023-35393	Внимание	Уязвимость spoofing в Azure Apache Hive
CVE-2023-35394	Внимание	Уязвимость spoofing записной книжки Azure HDInsight Jupyter Notebook
CVE-2023-36877	Внимание	Уязвимость spoofing в Azure Apache Oozie
CVE-2023-36881	Внимание	Уязвимость спуфингов Azure Apache Ambari
CVE-2023-38188	Внимание	Уязвимость спуфингом Azure Apache Hadoop

Скоро

Максимальная длина имени кластера будет сокращена с 59 до 45 символов, чтобы повысить уровень безопасности. Клиентам необходимо планировать обновления до 30 сентября 2023 г.
Разрешения кластера для безопасного хранилища
- Клиенты могут указать (во время создания кластера), следует ли использовать безопасный канал для узлов кластера HDInsight для связи с учетной записью хранения.
Обновление квоты в строке.
- Квоты запросов увеличиваются непосредственно с страницы "Моя квота", которая будет прямым вызовом API, который быстрее. Если вызов API завершается сбоем, клиенты должны создать новый запрос на поддержку для увеличения квоты.
Создание кластера HDInsight с помощью пользовательских виртуальных сетей.
- Чтобы повысить общую безопасность кластеров HDInsight, кластеры HDInsight с помощью пользовательских виртуальных сетей должны убедиться, что пользователю необходимо иметь разрешение на Microsoft Network/virtualNetworks/subnets/join/action выполнение операций создания. Клиентам потребуется планировать соответствующее изменение, так как это изменение будет обязательным проверка, чтобы избежать сбоев создания кластера до 30 сентября 2023 года. 
Базовые и стандартные виртуальные машины серии A.
- С 31 августа 2024 г. мы выводим из эксплуатации виртуальные машины серии A (Basic и Standard). До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD). Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 г.
Отказоустойчивые кластеры ABFS [разрешения кластера для Word Readable]
- Запланируйте изменение в кластерах ABFS, отличных от ESP, что ограничивает пользователей группы, отличных от Hadoop, выполнять команды Hadoop для операций хранения. Это изменение для улучшения состояния безопасности кластера. Клиентам необходимо планировать обновления до 30 сентября 2023 года.

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure.

Вы всегда можете попросить нас о HDInsight в Azure HDInsight — Microsoft Q&A

Вы можете добавить дополнительные предложения и идеи и другие темы здесь и проголосовать за них - HDInsight Community (azure.com) и следовать нам за дополнительными обновлениями в twitter

Примечание.

Дата выпуска: 08 мая 2023 г.

Этот выпуск относится к выпуску HDInsight 4.x и 5.x HDInsight для всех регионов в течение нескольких дней. Этот выпуск применим для номера образа 2304280205. Как проверить номер образа?

Версии ОС

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Сведения о конкретных версиях рабочей нагрузки см. в разделе

Azure HDInsight 5.1 обновлено с помощью
1. Apache HBase 2.4.11
2. Apache Phoenix 5.1.2
3. Apache Hive 3.1.2
4. Apache Spark 3.3.1
5. Apache Tez 0.9.1
6. Apache Zeppelin 0.10.1
7. Apache Livy 0.5
8. Apache Kafka 3.2.0
Примечание.
- Все компоненты интегрированы с Hadoop 3.3.4 и ZK 3.6.3
- Все перечисленные выше обновленные компоненты теперь доступны в кластерах, отличных от ESP, для общедоступной предварительной версии.

Расширенное автомасштабирование для HDInsight

Azure HDInsight сделал заметные улучшения стабильности и задержки в автомасштабировании, основные изменения включают улучшенный цикл обратной связи для принятия решений масштабирования, значительное улучшение задержки для масштабирования и поддержки повторного использования устаревших узлов, узнайте больше о улучшениях, как настроить и перенести кластер в расширенный автомасштабирование. Расширенная возможность автомасштабирования доступна с 17 мая 2023 г. во всех поддерживаемых регионах.
Azure HDInsight ESP для Apache Kafka 2.4.1 теперь общедоступен.

Azure HDInsight ESP для Apache Kafka 2.4.1 в общедоступной предварительной версии с апреля 2022 года. После заметных улучшений в исправлениях и стабильности CVE Azure HDInsight ESP Kafka 2.4.1 теперь становится общедоступным и готовым для рабочих нагрузок, узнайте подробности о настройке и миграции.
Управление квотами для HDInsight

В настоящее время HDInsight выделяет квоту для подписок клиентов на региональном уровне. Ядра, выделенные клиентам, являются универсальными и не классифицируются на уровне семейства виртуальных машин (например, Dv2, , Ev3Eav4и т. д.).

В HDInsight появилось улучшенное представление, которое предоставляет подробные сведения и классификацию квот для виртуальных машин уровня семьи, эта функция позволяет клиентам просматривать текущие и оставшиеся квоты для региона на уровне семейства виртуальных машин. Благодаря расширенному представлению клиенты имеют более широкий уровень видимости, для планирования квот и лучшего взаимодействия с пользователем. Эта функция в настоящее время доступна в HDInsight 4.x и 5.x для региона EUAP восточной части США. Другие регионы, которые будут следовать позже.

Дополнительные сведения см. в статье о планировании емкости кластера в Azure HDInsight | Microsoft Learn

Центральная Польша

Максимальная длина имени кластера изменяется на 45 символов с 59 символов, чтобы повысить уровень безопасности кластеров.
Разрешения кластера для безопасного хранилища
- Клиенты могут указать (во время создания кластера), следует ли использовать безопасный канал для узлов кластера HDInsight для связи с учетной записью хранения.
Обновление квоты в строке.
- Квоты запросов увеличиваются непосредственно с страницы "Моя квота", которая является прямым вызовом API, который быстрее. Если вызов API завершается сбоем, клиенты должны создать новый запрос на поддержку для увеличения квоты.
Создание кластера HDInsight с помощью пользовательских виртуальных сетей.
- Чтобы повысить общую безопасность кластеров HDInsight, кластеры HDInsight с помощью пользовательских виртуальных сетей должны убедиться, что пользователю необходимо иметь разрешение на Microsoft Network/virtualNetworks/subnets/join/action выполнение операций создания. Клиентам потребуется планировать соответствующим образом, так как это будет обязательным проверка, чтобы избежать сбоев создания кластера.
Базовые и стандартные виртуальные машины серии A.
- С 31 августа 2024 г. мы выводим из эксплуатации виртуальные машины серии A (Basic и Standard). До этой даты необходимо перенести рабочие нагрузки на виртуальные машины серии Av2, которые обеспечивают больше памяти на виртуальный ЦП и быстрее хранилища на твердотельных дисках (SSD). Чтобы избежать сбоев в работе служб, перенесите рабочие нагрузки с виртуальных машин серии "Базовый" и "Стандартный" на виртуальные машины серии Av2 до 31 августа 2024 года.
Отказоустойчивые кластеры ABFS [Разрешения кластера для world Readable]
- Запланируйте изменение в кластерах ABFS, отличных от ESP, что ограничивает пользователей группы, отличных от Hadoop, выполнять команды Hadoop для операций хранения. Это изменение для улучшения состояния безопасности кластера. Клиентам необходимо планировать обновления.

Дата выпуска: 28 февраля 2023 г.

Этот выпуск применим к HDInsight версии 4.0. и 5.0, 5.1. Выпуск HDInsight доступен для всех регионов в течение нескольких дней. Этот выпуск применим к номеру образа 2302250400. Как проверить номер образа?

Версии ОС

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Сведения о конкретных версиях рабочей нагрузки см. в разделе

Внимание

Корпорация Майкрософт выпустила CVE-2023-23408, которая исправлена в текущем выпуске, и клиентам рекомендуется обновить кластеры до последнего образа.

HDInsight 5.1

Мы начали развертывать новую версию HDInsight 5.1. Все новые выпуски с открытым кодом, добавленные как добавочные выпуски в HDInsight 5.1.

Дополнительные сведения см. в версии HDInsight 5.1.0

Обновление Kafka 3.2.0 (предварительная версия)

Kafka 3.2.0 включает несколько важных новых функций и улучшений.
- Обновление Zookeeper до 3.6.3
- Поддержка Потоки Kafka
- Более строгие гарантии доставки для производителя Kafka, включенного по умолчанию.
- log4j 1.x заменено reload4j.
- Отправьте указание лидеру секции, чтобы восстановить секцию.
- JoinGroupRequest и LeaveGroupRequest есть причина, связанная.
- Добавлено количество метрик брокера8.
- Улучшения зеркального отображения Maker2 .

Обновление HBase 2.4.11 (предварительная версия)

Эта версия имеет новые функции, такие как добавление новых типов механизмов кэширования для кэша блоков, возможность изменять и просматривать hbase:meta table таблицу hbase:meta из веб-интерфейса HBase.

Обновление Phoenix 5.1.2 (предварительная версия)

Версия Phoenix обновлена до версии 5.1.2 в этом выпуске. Это обновление включает сервер запросов Phoenix. Сервер запросов Phoenix поддерживает стандартный драйвер Phoenix JDBC и предоставляет протокол проводной связи, совместимый с обратной совместимостью, для вызова этого драйвера JDBC.

Ambari CVEs

Исправлено несколько CVES Ambari.

Примечание.

ESP не поддерживается для Kafka и HBase в этом выпуске.

Прекращение поддержки кластеров Azure HDInsight в Spark 2.4 10 февраля 2024 г. Дополнительные сведения см. в статье о версиях Spark, поддерживаемых в Azure HDInsight.

Дальнейшие действия

Автомасштабирование
- Автомасштабирование с улучшенной задержкой и несколькими улучшениями
Ограничение изменения имени кластера
- Максимальная длина имени кластера изменяется на 45 с 59 в общедоступной версии, в Китае и Azure для государственных организаций.
Разрешения кластера для безопасного хранилища
- Клиенты могут указать (во время создания кластера), следует ли использовать безопасный канал для узлов кластера HDInsight для связи с учетной записью хранения.
Отказоустойчивые кластеры ABFS [Разрешения кластера для world Readable]
- Запланируйте изменение в кластерах ABFS, отличных от ESP, что ограничивает пользователей группы, отличных от Hadoop, выполнять команды Hadoop для операций хранения. Это изменение для улучшения состояния безопасности кластера. Клиентам необходимо планировать обновления.
Обновления с открытым кодом
- Apache Spark 3.3.0 и Hadoop 3.3.4 находятся в разработке в HDInsight 5.1 и включают несколько важных новых функций, производительности и других улучшений.

Примечание.

Дата выпуска: 12 декабря 2022 г.

Этот выпуск применим к HDInsight версии 4.0. и выпуск HDInsight версии 5.0 доступен для всех регионов в течение нескольких дней.

Версии ОС

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Сведения о конкретных версиях рабочей нагрузки см . здесь.

Log Analytics — клиенты могут включить классический мониторинг, чтобы получить последнюю версию OMS версии 14.19. Чтобы удалить старые версии, отключите и включите классический мониторинг.
Автоматический выход пользовательского интерфейса Ambari из-за неактивности. Дополнительные сведения см. здесь
Spark — новая и оптимизированная версия Spark 3.1.3 включена в этот выпуск. Мы проверили Apache Spark 3.1.2 (предыдущая версия) и Apache Spark 3.1.3 (текущая версия) с помощью теста TPC-DS. Тест был выполнен с помощью SKU E8 версии 3 для Apache Spark на 1-ТБ рабочей нагрузке. Apache Spark 3.1.3 (текущая версия) превзовал Apache Spark 3.1.2 (предыдущая версия) более чем на 40 % в общей среде выполнения запросов для запросов TPC-DS с использованием одних и того же спецификаций оборудования. Команда Microsoft Spark добавила оптимизацию, доступную в Azure Synapse с помощью Azure HDInsight. Дополнительные сведения см. в статье "Ускорение рабочих нагрузок данных с помощью обновлений производительности в Apache Spark 3.1.2 в Azure Synapse"

Центральный Катар
Северная Германия

HDInsight отошел от Azul Zulu Java JDK 8, Adoptium Temurin JDK 8который поддерживает высококлассные сертифицированные среды выполнения TCK и связанную технологию для использования в экосистеме Java.
HDInsight перенесен в reload4j. Изменения log4j применимы к
- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- ОМИ
- Apache Pheonix

HDInsight для реализации TLS1.2 и более ранних версий обновляются на платформе. Если вы работаете с приложениями на основе HDInsight, и они используют TLS 1.0 и 1.1, обновите до TLS 1.2, чтобы избежать каких-либо сбоев в службах.

Дополнительные сведения см. в разделе "Включение протокола TLS"

Прекращение поддержки кластеров Azure HDInsight в Ubuntu 16.04 LTS с 30 ноября 2022 г. HDInsight начинает выпуск образов кластера с ubuntu 18.04 с 27 июня 2021 г. Мы рекомендуем нашим клиентам, которые выполняют кластеры с помощью Ubuntu 16.04, — перестроить кластеры с последними образами HDInsight к 30 ноября 2022 года.

Дополнительные сведения о том, как проверка версии кластера Ubuntu, см. здесь

Выполните команду "lsb_release -a" в терминале.
Если значение свойства Description в выходных данных — Ubuntu 16.04 LTS, это обновление применимо к кластеру.

Поддержка Зоны доступности выбора кластеров Kafka и HBase (доступ на запись).

Исправления ошибок с открытым кодом

Исправления ошибок Hive

Исправления ошибок	Apache JIRA
HIVE-26127	Ошибка INSERT OVERWRITE — файл не найден
HIVE-24957	Неправильные результаты, когда вложенный запрос имеет COALESCE в предикате корреляции
HIVE-24999	HiveSubQueryRemoveRule создает недопустимый план для вложенных запросов IN с несколькими корреляциями
HIVE-24322	Если существует прямая вставка, идентификатор попытки должен быть проверка при чтении манифеста завершается сбоем.
HIVE-23363	Обновление зависимости DataNucleus до версии 5.2
HIVE-26412	Создание интерфейса для получения доступных слотов и добавления по умолчанию
HIVE-26173	Обновление дерби до версии 10.14.2.0
HIVE-25920	Удар `Xerce2` до 2.12.2.
HIVE-26300	Обновление привязки данных Джексона до версии 2.12.6.1+ для предотвращения CVE-2020-36518

Дата выпуска: 10.08.2022

Этот выпуск применим к HDInsight версии 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней.

Новая функция

1. Подключение внешних дисков в кластерах HDI Hadoop/Spark

Кластер HDInsight поставляется с предопределенным дисковым пространством на основе номера SKU. Это пространство может быть недостаточно в сценариях больших заданий.

Эта новая функция позволяет добавлять в кластер дополнительные диски, которые используются в качестве локального каталога диспетчера узлов. Добавьте количество дисков в рабочие узлы во время создания кластера HIVE и Spark, а выбранные диски являются частью локальных каталогов диспетчера узлов.

Примечание.

Добавленные диски настраиваются только для локальных каталогов диспетчера узлов.

Дополнительные сведения см. здесь

2. Выборочный анализ ведения журнала

Анализ выборочного ведения журнала теперь доступен во всех регионах для общедоступной предварительной версии. Кластер можно подключить к рабочей области анализа журналов. После включения можно просмотреть журналы и метрики, такие как журналы безопасности HDInsight, Yarn Resource Manager, системные метрики и т. д. Можно отслеживать рабочие нагрузки и видеть, как они влияют на стабильность кластера. Выборочное ведение журнала позволяет включить или отключить все таблицы или включить выборочные таблицы в рабочей области Log Analytics. Можно настроить тип источника для каждой таблицы, так как в новой версии Geneva Monitoring одна таблица имеет несколько источников.

Система Geneva Monitoring использует mdsd (управляющую программу MDS), которая является агентом мониторинга и сборщиком данных fluentd для сбора журналов с помощью единого уровня ведения журнала.
Для выборочного ведения журнала используется действие скрипта отключения/включения таблиц и их типов журналов. Оно не открывает новые порты и не изменяет существующий параметр безопасности, поэтому изменения безопасности отсутствуют.
Действие скрипта выполняется параллельно на всех указанных узлах и изменяет файлы конфигурации для отключения или включения таблиц и их типов журналов.

Дополнительные сведения см. здесь

Фиксированный

Анализ журналов

Для интеграции Анализа журналов с Azure HDInsight под управлением OMS версии 13 требуется обновление OMS до версии 14, чтобы применялись последние обновления для системы безопасности. Клиентам, использующим более раннюю версию кластера с OMS версии 13, необходимо установить OMS версии 14 в соответствии с требованиями безопасности. (Как проверка текущую версию и установить 14)

Проверка текущей версии OMS

Войдите в кластер с помощью SSH.
Выполните следующую команду в клиенте SSH.

sudo /opt/omi/bin/ominiserver/ --version

Снимок экрана: проверка обновление OMS.

Обновление версии OMS с 13 до 14

Войдите на портал Azure
В группе ресурсов выберите ресурс кластера HDInsight
Выбор действий скрипта
На панели Отправка действия скрипта выберите Тип скрипта в качестве настраиваемого
Вставьте следующую ссылку в поле URL-адреса скрипта Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Выберите Тип(ы) узлов
Нажмите кнопку Создать

Снимок экрана, показывающий, как выполнить обновление OMS.

Проверьте успешную установку исправления, выполнив следующие действия:
Войдите в кластер с помощью SSH.
Выполните следующую команду в клиенте SSH.

sudo /opt/omi/bin/ominiserver/ --version

Исправления других ошибок

Интерфейс командной строки журнала Yarn не удалось получить журналы, если они TFile повреждены или пусты.
Устранена ошибка с недопустимыми сведениями о субъекте-службе при получении маркера OAuth из Azure Active Directory.
Повышена надежность создания кластера при настройке 100 и более рабочих узлов.

Исправления ошибок с открытым кодом

Исправления ошибок TEZ

Исправления ошибок	Apache JIRA
Сбой сборки Tez: FileSaver.js не найден	TEZ-4411
Неправильное исключение FS, если хранилище и `scratchdir` находятся на разных FS	TEZ-4406
TezUtils.createConfFromByteString в конфигурации размером более 32 МБ создает исключение com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf должен использовать snappy вместо DeflaterOutputStream	TEZ-4113
Обновление зависимости protobuf до версии 3.x	TEZ-4363

Исправления ошибок Hive

Исправления ошибок	Apache JIRA
Оптимизация производительности в разбиении ORC	HIVE-21457
Не допускает чтение таблицы как ACID, если имя таблицы начинается с delta, но таблица не является транзакционной, и используется стратегия разделения бизнес-аналитики	HIVE-22582
Удаление вызова FS#exists из AcidUtils#getLogicalLength	HIVE-23533
Векторный OrcAcidRowBatchReader.computeOffset и оптимизация контейнеров	HIVE-17917

Известные проблемы

HDInsight совместим с Apache HIVE версии 3.1.2. Вследствие ошибки в этом выпуске версия Hive отображается как 3.1.0 в интерфейсах Hive. Тем не менее, это не влияет на функциональность.

Дата выпуска: 10.08.2022

Новая функция

1. Подключение внешних дисков в кластерах HDI Hadoop/Spark

Эта новая функция позволяет добавлять дополнительные диски в кластер, который будет использоваться в качестве локального каталога диспетчера узлов. Добавьте количество дисков в рабочие узлы во время создания кластера HIVE и Spark, а выбранные диски являются частью локальных каталогов диспетчера узлов.

Примечание.

Добавленные диски настраиваются только для локальных каталогов диспетчера узлов.

Дополнительные сведения см. здесь

2. Выборочный анализ ведения журнала

Система Geneva Monitoring использует mdsd (управляющую программу MDS), которая является агентом мониторинга и сборщиком данных fluentd для сбора журналов с помощью единого уровня ведения журнала.
Для выборочного ведения журнала используется действие скрипта отключения/включения таблиц и их типов журналов. Оно не открывает новые порты и не изменяет существующий параметр безопасности, поэтому изменения безопасности отсутствуют.
Действие скрипта выполняется параллельно на всех указанных узлах и изменяет файлы конфигурации для отключения или включения таблиц и их типов журналов.

Дополнительные сведения см. здесь

Фиксированный

Анализ журналов

Проверка текущей версии OMS

Войдите в кластер с помощью SSH.
Выполните следующую команду в клиенте SSH.

sudo /opt/omi/bin/ominiserver/ --version

Снимок экрана: проверка обновление OMS.

Обновление версии OMS с 13 до 14

Войдите на портал Azure
В группе ресурсов выберите ресурс кластера HDInsight
Выбор действий скрипта
На панели Отправка действия скрипта выберите Тип скрипта в качестве настраиваемого
Вставьте следующую ссылку в поле URL-адреса скрипта Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Выберите Тип(ы) узлов
Нажмите кнопку Создать

Снимок экрана, показывающий, как выполнить обновление OMS.

Проверьте успешную установку исправления, выполнив следующие действия:
Войдите в кластер с помощью SSH.
Выполните следующую команду в клиенте SSH.

sudo /opt/omi/bin/ominiserver/ --version

Исправления других ошибок

Интерфейс командной строки журнала Yarn не удалось получить журналы, если они TFile повреждены или пусты.
Устранена ошибка с недопустимыми сведениями о субъекте-службе при получении маркера OAuth из Azure Active Directory.
Повышена надежность создания кластера при настройке 100 и более рабочих узлов.

Исправления ошибок с открытым кодом

Исправления ошибок TEZ

Исправления ошибок	Apache JIRA
Сбой сборки Tez: FileSaver.js не найден	TEZ-4411
Неправильное исключение FS, если хранилище и `scratchdir` находятся на разных FS	TEZ-4406
TezUtils.createConfFromByteString в конфигурации размером более 32 МБ создает исключение com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf должен использовать snappy вместо DeflaterOutputStream	TEZ-4113
Обновление зависимости protobuf до версии 3.x	TEZ-4363

Исправления ошибок Hive

Исправления ошибок	Apache JIRA
Оптимизация производительности в разбиении ORC	HIVE-21457
Не допускает чтение таблицы как ACID, если имя таблицы начинается с delta, но таблица не является транзакционной, и используется стратегия разделения бизнес-аналитики	HIVE-22582
Удаление вызова FS#exists из AcidUtils#getLogicalLength	HIVE-23533
Векторный OrcAcidRowBatchReader.computeOffset и оптимизация контейнеров	HIVE-17917

Известные проблемы

Дата выпуска: 03.06.2022

Этот выпуск применим к HDInsight версии 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.

Краткие сведения о выпуске

Hive Warehouse Connector (HWC) для Spark 3.1.2

Hive Warehouse Connector (HWC) позволяет использовать преимущества уникальных функций Hive и Spark для создания мощных приложений для работы с большими данными. Сейчас HWC поддерживается только для Spark версии 2.4. Эта функция обеспечивает поддержку транзакций ACID в таблицах Hive с помощью Spark. Эта функция полезна для клиентов, использующих Hive и Spark для работы с данными. Дополнительные сведения см. в статье Apache Spark и Hive — хранилище Hive Подключение or — Azure HDInsight | Документация Майкрософт

Ambari

Изменения в масштабировании и подготовке
HDI Hive теперь совместим с OSS версии 3.1.2

HDI Hive 3.1 обновлен до OSS Hive 3.1.2. Эта версия содержит все исправления и функции, доступные в версии Hive 3.1.2 с открытым кодом.

Примечание.

Spark

Если вы создаете кластер Spark для HDInsight с помощью пользовательского интерфейса Azure, вы увидите в раскрывающемся списке еще одну версию Spark 3.1. (HDI 5.0) вместе с более старыми версиями. Это переименованная версия Spark 3.1. (HDI 4.0). Это изменение на уровне пользовательского интерфейса, которое не влияет на существующих пользователей и пользователей, которые уже используют шаблон ARM.

Screenshot_of spark 3.1 для HDI 5.0.

Примечание.

Интерактивный запрос

При создании кластера Interactive Query вы увидите в раскрывающемся списке еще одну версию под названием Interactive Query 3.1 (HDI 5.0).
Если вы собираетесь использовать Spark 3.1 вместе с Hive, для которого требуется поддержка ACID, необходимо выбрать эту версию Interactive Query 3.1 (HDI 5.0).

Screenshot_of interactive query 3.1 для HDI 5.0.

Исправления ошибок TEZ

Исправления ошибок	Apache JIRA
TezUtils.createConfFromByteString в конфигурации размером более 32 МБ создает исключение com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils createByteStringFromConf должен использовать snappy вместо DeflaterOutputStream	TEZ-4113

Исправление ошибок HBase

Исправления ошибок	Apache JIRA
TableSnapshotInputFormat должен использовать ReadType.STREAM для сканирования `HFiles`	HBASE-26273
Добавление параметра для отключения scanMetrics в TableSnapshotInputFormat	HBASE-26330
Исправление для ArrayIndexOutOfBoundsException при выполнении балансировщика	HBASE-22739

Исправления ошибок Hive

Исправления ошибок	Apache JIRA
NPE при вставке данных с предложением "distribute by" с оптимизацией сортировки dynpart	HIVE-18284
Команда MSCK REPAIR с фильтрацией секций завершается сбоем при удалении секций	HIVE-23851
Неправильное исключение, если емкость <=0	HIVE-25446
Поддержка параллельной загрузки для HastTables — интерфейсы	HIVE-25583
Включение MultiDelimitSerDe в HiveServer2 по умолчанию	HIVE-20619
Удаление классов glassfish.jersey и mssql-jdbc из jdbc-standalone jar	HIVE-22134
Исключение пустого указателя при выполнении сжатия по таблице MM.	HIVE-21280
Запрос Hive с большим размером сбоем `knox` с сбоем при сбое записи в неработаемом канале	HIVE-22231
Добавление возможности для пользователей задавать привязку пользователя	HIVE-21009
Реализация определяемой пользователем функции для интерпретации метки даты и времени с помощью внутреннего представления и гибрида Григорианского и Юлианского календаря	HIVE-22241
Прямой параметр для отображения или не отображения отчета о выполнении	HIVE-22204
Tez: SplitGenerator пытается искать файлы плана, которые не существуют для Tez	HIVE-22169
Удаление дорогостоящих журналов из кэша LLAP `hotpath`	HIVE-22168
UDF: FunctionRegistry синхронизируется с классом org.apache.hadoop.hive.ql.udf.UDFType	HIVE-22161
Запрет на создание аппендера маршрутизации запросов, если свойству присвоено значение false	HIVE-22115
Удаление синхронизации между запросами для секционирования	HIVE-22106
Пропуск настройки hive scratch dir при планировании	HIVE-21182
Пропуск создания scratch dir для tez, если включен RPC	HIVE-21171
переключение определяемых пользователем пользователей Hive для использования `Re2J` обработчика регулярных выражений	HIVE-19661
Перенесенные кластеризованные таблицы, использующие bucketing_version 1 в hive 3 с bucketing_version 2 для вставок	HIVE-22429
Сегментирование. Сегментирование версии 1 неправильно секционирует данные	HIVE-21167
Добавление заголовка лицензии ASF в только что добавленный файл	HIVE-22498
Усовершенствования инструмента схемы для поддержки mergeCatalog	HIVE-22498
Hive с TEZ UNION ALL и UDTF приводит к потере данных	HIVE-21915
Разделение текстовых файлов даже в том случае, если существует верхний/нижний колонтитул	HIVE-21924
MultiDelimitSerDe возвращает неправильные результаты в последнем столбце, если загруженный файл содержит больше столбцов, чем в схеме таблицы.	HIVE-22360
Внешний клиент LLAP — необходимо уменьшить объем занимаемой памяти для LlapBaseInputFormat#getSplits()	HIVE-22221
Имя столбца с зарезервированным ключевым словом раскодируется (unescape) при перезаписи запроса, включая операцию join в таблице со столбцом маски (Zoltan Matyus через Zoltan Haindrich)	HIVE-22208
Предотвращение завершения работы LLAP в `AMReporter` связанной среде RuntimeException	HIVE-22113
Драйвер службы состояния LLAP может застрять с неправильным идентификатором приложения Yarn	HIVE-21866
OperationManager.queryIdOperation неправильно очищает несколько идентификаторов запросов	HIVE-22275
Отключение диспетчера узлов блокирует перезапуск службы LLAP	HIVE-22219
StackOverflowError при удалении большого количества секций	HIVE-15956
Проверка доступа завершается сбоем при удалении временного каталога	HIVE-22273
Исправление неправильных результатов или исключения ArrayOutOfBound в левых внешних соединениях схемы в определенных условиях границ	HIVE-22120
Удаление тега управления распространением из pom.xml	HIVE-19667
Синтаксический анализ может занимать больше времени при наличии глубоко вложенных запросов	HIVE-21980
Для ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE'); изменения атрибута `TBL_TYPE` не отражаются, если записано не прописными буквами	HIVE-20057
JDBC: Интерфейсы шейдеров `log4j` Hive Подключение ion	HIVE-18874
Обновление URL-адресов репозитория в `poms` ветви 3.1 версии	HIVE-21786
`DBInstall` Тесты, разбитые на master и branch-3.1	HIVE-21758
Загрузка данных в сегментированную таблицу игнорирует спецификации секций и загружает данные в секцию по умолчанию	HIVE-21564
Запросы с условием соединения с меткой времени или меткой времени с локальным литералом часового пояса вызывают исключение SemanticException	HIVE-21613
Анализ статистики вычислений для столбца не учитывает промежуточный dir в HDFS	HIVE-21342
Несовместимое изменение в вычислениях контейнера Hive	HIVE-21376
Предоставьте резервное средство авторизации, если не используется другое средство авторизации	HIVE-20420
Некоторые вызовы alterPartitions вызывают исключение NumberFormatException: null	HIVE-18767
HiveServer2: в некоторых случаях предварительная проверка подлинности для транспорта HTTP не сохраняется в течение всей продолжительности HTTP-соединения	HIVE-20555

Дата выпуска: 10.03.2022

Версии ОС для этого выпуска:

HDInsight 4.0: Ubuntu 18.04.5

Выпущена общедоступная версия Spark 3.1

Версия Spark 3.1 теперь общедоступна в HDInsight 4.0. В этот выпуск входят:

адаптивное выполнение запросов;
преобразование сортировка слиянием в широковещательное хэш-соединение;
оптимизатор Spark Catalyst;
динамическое удаление секций;
клиенты смогут создавать новые кластеры Spark 3.1, а не кластеры Spark 3.0 (предварительная версия).

Подробнее см. в статье "Версия Apache Spark 3.1 теперь общедоступна в HDInsight" от сообщества Microsoft Tech Community.

Полный список улучшений см. в заметках о выпуске Apache Spark 3.1.

Подробнее о миграции см. в руководстве по миграции.

Выпущена общедоступная версия Kafka 2.4

Выпущена общедоступная версия Kafka 2.4.1. Дополнительные сведения см. в заметках о выпуске Kafka 2.4.1. Другие функции включают доступность MirrorMaker 2, новую категорию метрик в разделе раздела AtMinIsr, улучшенное время запуска брокера, отложенное по запросу mmap файлов индекса, дополнительные метрики потребителей для наблюдения за поведением опроса пользователей.

Тип данных Map в HWC теперь поддерживается в HDInsight 4,0

Этот выпуск включает поддержку типа данных Map для HWC 1,0 (Spark 2,4) через приложение spark-shell, а также все остальные клиенты Spark, поддерживаемые HWC. Следующие усовершенствования включены как любые другие типы данных:

Пользователь может выполнять следующие действия:

Создать таблицу Hive с любыми столбцами, содержащими тип данных Map, вставлять в него данные и считывать из него результаты.
Создать кадр данных Apache Spark с типом Map и выполнять пакетные/потоковые операции чтения и записи.

Новые регионы

Теперь HDInsight расширил свое географическое присутствие на два новых региона: "Восточный Китай 3" и "Северный Китай 3".

Изменения в бэкпорте OSS

Бэкпорты OSS, включенные в Hive, в том числе HWC 1.0 (Spark 2.4), которые поддерживают тип данных Map.

Приведенные ниже Apache JIRA обратно портированы для этого выпуска:

Затронутая функция	Apache JIRA
Прямые запросы SQL хранилища метаданных с IN/NOT IN должны быть разделены на основе максимального числа параметров, разрешенного базой данных SQL.	HIVE-25659
Обновление `log4j` 2.16.0 до версии 2.17.0	HIVE-25825
Обновление `Flatbuffer` версии	HIVE-22827
Встроенная поддержка типа данных Map в формате Arrow.	HIVE-25553
Внешний клиент LLAP — обработка вложенных значений, если родительская структура имеет значение NULL.	HIVE-25243
Обновление версии arrow до 0.11.0.	HIVE-23987

Примечания об устаревании

Масштабируемые наборы виртуальных машин Azure в HDInsight

HDInsight больше не будет использовать масштабируемые наборы виртуальных машин Azure для инициализации кластеров. Критические изменения не ожидаются. Существующие кластеры HDInsight в масштабируемых наборах виртуальных машин не влияют, новые кластеры на последних образах больше не будут использовать Масштабируемые наборы виртуальных машин.

Масштабирование рабочих нагрузок HBase Azure HDInsight теперь будет поддерживаться только с помощью масштабирования вручную.

Начиная с 1 марта 2022 г. HDInsight поддерживает для HBase только масштабирование вручную, но не оказывает влияния на работу кластеров. Новые кластеры HBase не смогут включить автомасштабирование на основе расписания. Дополнительные сведения о том, как вручную масштабировать кластер HBase, см. в документации по масштабированию кластеров Azure HDInsight вручную.

Дата выпуска: 27.12.2021

Версии ОС для этого выпуска:

HDInsight 4.0: Ubuntu 18.04.5 LTS

Образ HDInsight 4.0 обновлен, чтобы устранить Log4j уязвимость, как описано в ответе Майкрософт на CVE-2021-44228 Apache Log4j 2.

Примечание.

Все кластеры HDI 4.0, созданные после 27 декабря 2021 г. 00:00 UTC, создаются с обновленной версией образа, который устраняет log4j уязвимости. Следовательно, клиентам не требуется исправление или перезагрузка этих кластеров.
Для новых кластеров HDInsight 4.0, созданных между 01:15 UTC 16 декабря 2021 г. и 00:00 UTC 27 декабря 2021 г., HDInsight 3.6 или в закрепленных подписках после 16 декабря 2021 г., исправление будет применено в течение часа, в течение которого создается кластер, однако клиенты должны перезагрузить свои узлы для завершения установки исправлений (за исключением узлов управления Kafka, которые перезагружаются автоматически).

Дата выпуска: 27.07.2021

Этот выпуск применим к версиям HDInsight 3.6 и HDInsight 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.

Версии ОС для этого выпуска:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Новые возможности

Поддержка Azure HDInsight для ограниченного общедоступного подключения доступна всем с 15 октября 2021 г.

Azure HDInsight теперь поддерживает ограниченное общедоступное подключение во всех регионах. Ниже приведены некоторые ключевые особенности этой возможности.

Возможность обратного обращения поставщика ресурсов к кластеру, в результате чего он исходит от кластера к поставщику ресурсов
Поддержка привлечения собственных ресурсов с поддержкой Приватный канал (например, хранилища, SQL, хранилища ключей) для кластера HDInsight для доступа к ресурсам только через частную сеть
Отсутствие общедоступных IP-адресов, подготовленных ресурсом

С помощью этой новой возможности можно также пропустить правила тегов службы входящей группы безопасности сети (NSG) для IP-адресов управления HDInsight. Узнайте больше об ограничении общедоступного подключения

Общедоступная версия службы поддержки Azure HDInsight для Azure Private Link доступна с15 октября 2021 г.

Теперь частные конечные точки можно использовать для подключения к кластерам HDInsight по частной ссылке. Приватный канал можно использовать в сценариях с несколькими виртуальными сетями, когда пиринг виртуальных сетей недоступен или не включен.

Приватный канал Azure обеспечивает доступ к службам Azure PaaS (например, к службе хранилища Azure и Базе данных SQL), а также размещенным в Azure службам, которые принадлежат клиенту или партнеру, через частную конечную точку виртуальной сети.

Трафик между виртуальной сетью и службой проходит через магистральную сеть Майкрософт. Предоставление доступа к службе через общедоступный Интернет больше не требуется.

Узнайте больше об поддержке приватных каналов. 

Новые интерфейс интеграции Azure Monitor (предварительная версия)

В этом выпуске новый интерфейс интеграции Azure Monitor будет в предварительной версии для Восточной части США и Западной Европы. Дополнительные сведения о новом интерфейсе Azure Monitor см. здесь.

Устаревание

ВЕРСИЯ HDInsight 3.6 не рекомендуется использовать 1 октября 2022 г.

Изменения в работе

Интерактивный запрос HDInsight поддерживает только автомасштабирование по расписанию

Так как сценарии клиентов становятся более зрелыми и разнообразными, мы определили некоторые ограничения с автомасштабированием на основе интерактивного запроса (LLAP). Эти ограничения обусловлены характером динамики запросов LLAP, проблемами с точностью прогнозирования нагрузки в будущем и проблемами при перераспределении задач планировщика LLAP. Из-за этих ограничений пользователи могут видеть, что запросы выполняются медленнее в кластерах LLAP при включении автомасштабирования. Отрицательное влияние на производительность может перевешивать преимущества автомасштабирования.

Начиная с июля 2021 года рабочая нагрузка Interactive Query в HDInsight поддерживает только автомасштабирование по расписанию. Включение автомасштабирования на основе нагрузки для новых кластеров Interactive Query будет недоступно. Существующие работающие кластеры по-прежнему могут работать с известными ограничениями, описанными выше.

Корпорация Майкрософт рекомендует выбрать функцию автомасштабирования по расписанию для LLAP. Вы можете проанализировать текущую модель использования кластера на панели мониторинга Grafana Hive. Дополнительные сведения см. в разделе Автоматическое масштабирование кластеров Azure HDInsight.

Предстоящие изменения

Следующие изменения происходят в предстоящих выпусках.

Встроенный компонент LLAP в кластере ESP Spark будет удален

Кластер HDInsight 4.0 ESP Spark содержит встроенные компоненты LLAP, работающие на обоих головных узлах. Компоненты LLAP в кластере ESP Spark изначально были добавлены для HDInsight 3.6 ESP Spark, но не имеют реальных вариантов использования для HDInsight 4.0 ESP Spark. В следующем выпуске, запланированном на сентябрь 2021 г., HDInsight удалит встроенный компонент LLAP из кластера HDInsight 4.0 ESP Spark. Это изменение помогает выгрузить рабочую нагрузку головного узла и избежать путаницы между типом кластера ESP Spark и ESP Interactive Hive.

Новый регион

Западная часть США — 3
Jio Западная Индия
Центральная Австралия

Изменение версий компонентов

В этом выпуске изменена следующая версия компонента:

ORC с версии 1.5.1 на версию 1.5.9.

Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.

Обратно портированные JIRA

Приведенные ниже Apache JIRA обратно портированы для этого выпуска:

Затронутая функция	Apache JIRA
Дата / метка времени	HIVE-25104
	HIVE-24074
	HIVE-22840
	HIVE-22589
	HIVE-22405
	HIVE-21729
	HIVE-21291
	HIVE-21290
Определяемая пользователем функция	HIVE-25268
	HIVE-25093
	HIVE-22099
	HIVE-24113
	HIVE-22170
	HIVE-22331
ORC	HIVE-21991
	HIVE-21815
	HIVE-21862
Схема таблицы	HIVE-20437
	HIVE-22941
	HIVE-21784
	HIVE-21714
	HIVE-18702
	HIVE-21799
	HIVE-21296
Управление рабочей нагрузкой	HIVE-24201
Сжатие	HIVE-24882
	HIVE-23058
	HIVE-23046
Материализованное представление	HIVE-22566

Исправление цен для HDInsight `Dv2` Виртуальные машины

Ошибка ценообразования была исправлена 25 апреля 2021 г. для Dv2 серии виртуальных машин в HDInsight. Ошибка ценообразования привела к снижению платы за некоторые счета клиента до 25 апреля, и с исправлением цены теперь соответствуют тому, что было объявлено на странице ценообразования HDInsight и калькуляторе цен HDInsight. Ошибка ценообразования повлияла на клиентов в следующих регионах, которые использовали Dv2 виртуальные машины:

Центральная Канада
Восточная Канада
Восточная Азия
Северная часть ЮАР;
Юго-Восточная Азия
Центральная часть ОАЭ

Начиная с 25 апреля 2021 г. исправленная сумма для Dv2 виртуальных машин будет находиться в вашей учетной записи. Перед изменением владельцам подписок было направлено соответствующее уведомление. Вы можете использовать калькулятор цен, страницу цен HDInsight или колонку "Создание кластера HDInsight" в портал Azure, чтобы просмотреть исправленные затраты на Dv2 виртуальные машины в вашем регионе.

От вас никаких дополнительных действий не требуется. Корректировка цены будет применена для использования только 25 апреля 2021 г. или после этой даты в указанных регионах, но не в отношении использования в период до этой даты. Чтобы обеспечить наиболее эффективное и экономичное решение, рекомендуется просмотреть цены, VCPU и ОЗУ для Dv2 кластеров и сравнить Dv2 спецификации Ev3 с виртуальными машинами, чтобы узнать, будет ли ваше решение использовать одну из более новых рядов виртуальных машин.

Дата выпуска: 02.06.2021

Версии ОС для этого выпуска:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Новые возможности

Обновление версии ОС

Как указано в цикле выпуска Ubuntu, ядро Ubuntu 16.04 достигает конца жизни (EOL) в апреле 2021 года. Мы начали развертывание нового образа кластера HDInsight 4.0, работающего под управлением Ubuntu 18.04, одновременно с этим выпуском. Только что созданные кластеры HDInsight 4.0 выполняются в Ubuntu 18.04 по умолчанию. Существующие кластеры в Ubuntu 16.04 выполняются так же, как и при полной поддержке.

Служба HDInsight 3.6 продолжит работать на платформе Ubuntu 16.04. С 1 июля 2021 года поддержка (цен. категория "Стандартный") заменена поддержкой Basic. Дополнительные сведения о датах и вариантах поддержки см. в статье Версии Azure HDInsight. Платформа Ubuntu 18.04 не будет поддерживаться для HDInsight 3.6. Если вы хотите использовать Ubuntu 18.04, необходимо перенести кластеры в HDInsight 4.0.

Если вы хотите переместить существующие кластеры HDInsight 4.0 в Ubuntu 18.04, удалите и повторно создайте их. Запланируйте создание или повторное создание кластеров после того, как станет доступна поддержка Ubuntu 18.04.

После создания нового кластера вы сможете использовать SSH-подключение к кластеру и выполнить sudo lsb_release -a, чтобы убедиться, что на нем выполняется Ubuntu 18.04. Перед переносом в рабочую среду рекомендуется сначала протестировать приложения в тестовых подписках.

Оптимизация масштабирования в кластерах с поддержкой ускоренной записи HBase

В HDInsight внесены улучшения и оптимизации масштабирования кластеров с поддержкой ускоренной записи HBase. Узнайте больше об ускоренной записи HBase.

Устаревание

В этом выпуске нет объявлений об устаревании.

Изменения в работе

Отключение виртуальной машины размера Stardard_A5 для головного узла HDInsight 4.0

Головной узел кластера HDInsight отвечает за инициализацию и управление кластером. Виртуальные машины размера Standard_A5 недостаточно надежны в качестве головного узла HDInsight 4.0. Начиная с этого выпуска, клиенты не смогут создавать новые кластеры с размером Standard_A5 виртуальной машины в качестве головного узла. Вы можете использовать другие 2-ядерные виртуальные машины, такие как E2_v3 или E2s_v3. Существующие кластеры будут работать как обычно. Для головного узла настоятельно рекомендуется виртуальная машина с 4 ядрами, чтобы обеспечивать высокий уровень доступности и надежности для кластеров HDInsight в рабочей среде.

Ресурс сетевого интерфейса не отображается для кластеров, которые работают в масштабируемых наборах виртуальных машин Azure

HDInsight постепенно переходит на масштабируемые наборы виртуальных машин Azure. Сетевые интерфейсы для виртуальных машин больше не видны клиентам, которые используют кластеры на основе масштабируемых наборов виртуальных машин Azure.

Предстоящие изменения

В предстоящих выпусках будут внесены описанные ниже изменения.

Интерактивный запрос HDInsight поддерживает только автомасштабирование по расписанию

Начиная с июля 2021 года рабочая нагрузка Interactive Query в HDInsight поддерживает только автомасштабирование по расписанию. Включение автомасштабирования для новых кластеров интерактивных запросов будет недоступно. Существующие работающие кластеры по-прежнему могут работать с известными ограничениями, описанными выше.

Именование узлов виртуальных машин изменено с 1 июля 2021 г.

Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Служба постепенно переходит на масштабируемые наборы виртуальных машин Azure. Эта миграция изменит формат имени полного доменного имени узла кластера, а числа в имени узла не будут гарантированы в последовательности. Если вы хотите получить полные доменные имена для каждого узла, обратитесь к разделу Поиск имен узлов кластера.

Переход на масштабируемые наборы виртуальных машин Azure

Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Служба постепенно перейдет на масштабируемые наборы виртуальных машин Azure. Весь процесс может занять несколько месяцев. После переноса регионов и подписок все созданные кластеры HDInsight будут выполняться в масштабируемых наборах виртуальных машин, и для этого не требуются действия со стороны клиента. Критических изменений не ожидается.

Дата выпуска: 24.03.2021

Новые возможности

Предварительная версия Spark 3.0

В HDInsight добавлена поддержка Spark 3.0.0 в виде предварительной версии функции, начиная с HDInsight 4.0.

Предварительная версия Kafka 2.4

В HDInsight добавлена поддержка Kafka 2.4.1 в виде предварительной версии функции, начиная с HDInsight 4.0.

`Eav4`Поддержка -series

В этом выпуске добавлена Eav4поддержка серии HDInsight.

Переход на масштабируемые наборы виртуальных машин Azure

Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Служба постепенно переходит на масштабируемые наборы виртуальных машин Azure. Весь процесс может занять несколько месяцев. После переноса регионов и подписок все созданные кластеры HDInsight будут выполняться в масштабируемых наборах виртуальных машин, и для этого не требуются действия со стороны клиента. Критических изменений не ожидается.

Устаревание

В этом выпуске нет объявлений об устаревании.

Изменения в работе

Версия кластера по умолчанию изменена на 4.0.

Версия кластера HDInsight по умолчанию изменена с 3.6 на 4.0. Дополнительные сведения о доступных версиях см. здесь. Изучите подробнее новые возможности HDInsight 4.0.

Размеры виртуальных машин кластера по умолчанию изменяются на `Ev3`-series

Размеры виртуальных машин кластера по умолчанию изменяются с серии D на Ev3-series. Это изменение применимо к головным узлам и рабочим узлам. Чтобы это изменение не затронуло проверенные рабочие процессы, укажите в шаблоне ARM правильные размеры виртуальных машин, которые вы хотите использовать.

Ресурс сетевого интерфейса не отображается для кластеров, которые работают в масштабируемых наборах виртуальных машин Azure

Предстоящие изменения

В предстоящих выпусках будут внесены описанные ниже изменения.

Интерактивный запрос HDInsight поддерживает только автомасштабирование по расписанию

Обновление версии ОС

Кластеры HDInsight в настоящее время работают под управлением Ubuntu 16.04 LTS. Как сказано в примечаниях к циклу выпуска Ubuntu, ядро Ubuntu 16.04 будет выведено из обращения в апреле 2021. Мы начали развертывание нового образа кластера HDInsight 4.0, работающего под управлением Ubuntu 18.04, в мае 2021 года. Недавно созданные кластеры HDInsight 4.0 будут работать под управлением Ubuntu 18.04 по умолчанию. Существующие кластеры Ubuntu 16.04 будут работать "как есть" и обеспечиваться полной поддержкой.

Служба HDInsight 3.6 продолжит работать на платформе Ubuntu 16.04. Поддержка этой службы для ценовой категории "Стандартный" завершилась 30 июня 2021 года, после чего она была изменена на поддержку для ценовой категории "Базовый" начиная с 1 июля 2021 года. Дополнительные сведения о датах и вариантах поддержки см. в статье Версии Azure HDInsight. Платформа Ubuntu 18.04 не будет поддерживаться для HDInsight 3.6. Если вы хотите использовать Ubuntu 18.04, необходимо перенести кластеры в HDInsight 4.0.

Если вы хотите переместить существующие кластеры в Ubuntu 18.04, удалите и повторно создайте их. Запланируйте создание или повторное создание кластера после того, как станет доступна поддержка Ubuntu 18.04. После того как новый образ станет доступен во всех регионах, мы отправим вам другое уведомление.

Настоятельно рекомендуется заранее протестировать действия сценария и пользовательские приложения, развернутые на граничных узлах на виртуальной машине Ubuntu 18.04. Виртуальную машину Ubuntu Linux можно создать на виртуальной машине 18.04-LTS, а затем создать и использовать пару ключей безопасной оболочки (SSH) на виртуальной машине для запуска и тестирования действий скрипта и пользовательских приложений, развернутых на пограничных узлах.

Отключение виртуальной машины размера Stardard_A5 для головного узла HDInsight 4.0

Головной узел кластера HDInsight отвечает за инициализацию и управление кластером. Виртуальные машины размера Standard_A5 недостаточно надежны в качестве головного узла HDInsight 4.0. Начиная с следующего выпуска в мае 2021 года клиенты не смогут создавать новые кластеры с размером виртуальной машины Standard_A5 в качестве головного узла. Вы можете использовать другие 2-ядерные виртуальные машины, такие как E2_v3 или E2s_v3. Существующие кластеры будут работать как обычно. Для головного узла требуется виртуальная машина с не менее чем 4 ядрами, чтобы обеспечивать высокий уровень доступности и надежности для кластеров HDInsight в рабочей среде.

Исправления ошибок

HDInsight постоянно повышает надежность и производительность кластеров.

Изменение версий компонентов

Добавлена поддержка Spark 3.0.0 и Kafka 2.4.1 в предварительной версии. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.

Дата выпуска: 05.02.2021

Новые возможности

Поддержка серии Dav4

В HDInsight добавлена поддержка серии Dav4, начиная с этого выпуска. Подробную информацию о серии Dav4 см. здесь.

Общая доступность прокси-сервера REST для Kafka

Прокси-сервер REST для Kafka позволяет взаимодействовать с кластером Kafka через REST API по протоколу HTTPS. Прокси-сервер REST для Kafka является общедоступным, начиная с этого выпуска. Дополнительные сведения о прокси-сервере REST для Kafka см. здесь.

Переход на масштабируемые наборы виртуальных машин Azure

Устаревание

Размеры отключенных виртуальных машин

Начиная с 9 января 2021 г., HDInsight будет блокировать всех клиентов, создающих кластеры с использованием размеров виртуальных машин standand_A8, standand_A9, standand_A10 и standand_A11. Существующие кластеры будут работать как обычно. Постарайтесь перейти на версию HDInsight 4.0, чтобы избежать потенциальных перерывов в работе или обслуживании.

Изменения в работе

Размер виртуальной машины кластера по умолчанию изменяется на `Ev3`-series

Размеры виртуальных машин кластера по умолчанию будут изменены с серии D на Ev3-series. Это изменение применимо к головным узлам и рабочим узлам. Чтобы это изменение не затронуло проверенные рабочие процессы, укажите в шаблоне ARM правильные размеры виртуальных машин, которые вы хотите использовать.

Ресурс сетевого интерфейса не отображается для кластеров, которые работают в масштабируемых наборах виртуальных машин Azure

Предстоящие изменения

В предстоящих выпусках будут внесены описанные ниже изменения.

Версия кластера по умолчанию будет изменена на 4.0

Начиная с февраля 2021 г., версия кластера HDInsight по умолчанию будет изменена с 3.6 на 4.0. Дополнительные сведения о доступных версиях см. здесь. Изучите подробнее новые возможности HDInsight 4.0.

Обновление версии ОС

В HDInsight будет обновлена версия ОС с Ubuntu 16.04 до 18.04. Это обновление будет завершено до апреля 2021 года.

Окончание поддержки HDInsight 3.6 30 июня 2021 г.

Поддержка HDInsight 3.6 будет прекращена. Начиная с 30 июня 2021 г., клиенты не смогут создавать новые кластеры HDInsight 3.6. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию HDInsight 4.0, чтобы избежать потенциальных перерывов в работе или обслуживании.

Изменение версий компонентов

В этом выпуска не вносилось изменений в версии компонентов. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.

Дата выпуска: 18.11.2020

Новые возможности

Автоматическая ротация ключей для шифрования неактивных данных с ключом, управляемым клиентом

Начиная с этого выпуска, клиенты могут использовать URL-адреса ключей шифрования без версии Azure KeyValut для шифрования неактивных данных с ключом, управляемым клиентом. HDInsight будет выполнять автоматическую ротацию ключей по мере истечения срока их действия или заменять их новыми версиями. Дополнительные сведения см. здесь.

Возможность выбора различных размеров виртуальных машин Zookeeper для Spark, Hadoop и Служб машинного обучения

Ранее HDInsight не поддерживала настройку размера узла Zookeeper для типов кластера Spark, Hadoop и Служб машинного обучения. По умолчанию используются размеры виртуальных машин A2_v2/A2, которые предоставляются бесплатно. Начиная с этого выпуска, можно выбрать размер виртуальной машины Zookeeper, наиболее подходящий для вашего сценария. За узлы Zookeeper с размером виртуальной машины, отличным от A2_v2/A2, будет начисляться счет. Виртуальные машины A2_v2 и a2 по-прежнему предоставляются бесплатно.

Переход на масштабируемые наборы виртуальных машин Azure

Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Начиная с этого выпуска, служба будет постепенно переноситься в масштабируемые наборы виртуальных машин Azure. Весь процесс может занять несколько месяцев. После переноса регионов и подписок все созданные кластеры HDInsight будут выполняться в масштабируемых наборах виртуальных машин, и для этого не требуются действия со стороны клиента. Критических изменений не ожидается.

Устаревание

Прекращение использования кластера Служб машинного обучения в HDInsight 3.6

Поддержка типа кластера Служб машинного обучения HDInsight 3.6 будет прекращена 31 декабря 2020 г. Клиенты не смогут создавать новые кластеры Служб машинного обучения версии 3.6 после 31 декабря 2020 г. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Проверьте срок действия поддержки для версий HDInsight и типов кластеров здесь.

Размеры отключенных виртуальных машин

Начиная с 16 ноября 2020 г., HDInsight будет блокировать новых клиентов, создающих кластеры с использованием размеров виртуальных машин standand_A8, standand_A9, standand_A10 и standand_A11. Существующие клиенты, которые использовали эти размеры виртуальных машин в течение последних трех месяцев, не будут затронуты. Начиная с 9 января 2021 г., HDInsight будет блокировать всех клиентов, создающих кластеры с использованием размеров виртуальных машин standand_A8, standand_A9, standand_A10 и standand_A11. Существующие кластеры будут работать как обычно. Постарайтесь перейти на версию HDInsight 4.0, чтобы избежать потенциальных перерывов в работе или обслуживании.

Изменения в работе

Добавление проверки правил NSG до операции масштабирования

В HDInsight добавлена проверка групп безопасности сети (NSG) и определяемых пользователем маршрутов (UDR) при операции масштабирования. Такая же проверка выполняется для масштабирования кластера, помимо создания кластера. Эта проверка помогает предотвратить непредсказуемые ошибки. Если проверка не пройдена, масштабирование завершается сбоем. Дополнительные сведения о том, как правильно настроить группы безопасности сети и определяемые пользователем маршруты, см. в статье IP-адреса управления HDInsight.

Изменение версий компонентов

Дата выпуска: 09.11.2020

Новые возможности

Брокер удостоверений HDInsight (HIB) теперь общедоступен

Брокер удостоверений HDInsight (HIB), включающий проверку подлинности OAuth для кластеров ESP, теперь общедоступен в этом выпуске. Кластеры HIB, созданные после этого выпуска, будут содержать новейшие функции HIB:

Высокий уровень доступности (HA)
Поддержка многофакторной проверки подлинности (MFA)
Федеративные пользователи входят в систему без синхронизации хэшей паролей с AAD-DS. Дополнительные сведения см. в документации по HIB.

Переход на масштабируемые наборы виртуальных машин Azure

Устаревание

Прекращение использования кластера Служб машинного обучения в HDInsight 3.6

Размеры отключенных виртуальных машин

Изменения в работе

В этом выпуске не вносятся изменения в поведении.

Предстоящие изменения

В предстоящих выпусках будут внесены описанные ниже изменения.

Возможность выбора различных размеров виртуальных машин Zookeeper для Spark, Hadoop и Служб машинного обучения

На сегодня HDInsight не поддерживает настройку размера узла Zookeeper для типов кластера Spark, Hadoop и Служб машинного обучения. По умолчанию используются размеры виртуальных машин A2_v2/A2, которые предоставляются бесплатно. В предстоящем выпуске можно будет выбрать размер виртуальной машины Zookeeper, наиболее подходящий для вашего сценария. За узлы Zookeeper с размером виртуальной машины, отличным от A2_v2/A2, будет начисляться счет. Виртуальные машины A2_v2 и a2 по-прежнему предоставляются бесплатно.

Версия кластера по умолчанию будет изменена на 4.0

Начиная с февраля 2021 г., версия кластера HDInsight по умолчанию будет изменена с 3.6 на 4.0. Дополнительные сведения о доступных версиях см. в списке поддерживаемых версий. Изучите подробнее новые возможности HDInsight 4.0

Окончание поддержки HDInsight 3.6 30 июня 2021 г.

Исправления ошибок

HDInsight постоянно повышает надежность и производительность кластеров.

Устранение проблемы при перезапуске виртуальных машин в кластере

Исправлена проблема с перезапуском виртуальных машин в кластере. Теперь снова можно использовать PowerShell или REST API для перезагрузки узлов в кластере.

Изменение версий компонентов

Дата выпуска: 08.10.2020

Новые возможности

Частные кластеры HDInsight без общедоступного IP-адреса и Приватного канала (предварительная версия)

HDInsight теперь поддерживает создание кластеров без общедоступного IP-адреса и доступа к кластерам по приватному каналу в предварительной версии. Клиенты могут использовать новые дополнительные сетевые параметры, чтобы создать полностью изолированный кластер без общедоступного IP-адреса и использовать собственные частные конечные точки для доступа к кластеру.

Переход на масштабируемые наборы виртуальных машин Azure

Устаревание

Прекращение использования кластера Служб машинного обучения в HDInsight 3.6

Поддержка типа кластера Служб машинного обучения HDInsight 3.6 будет прекращена 31 декабря 2020 г. После этого клиенты не смогут создавать новые кластеры Служб машинного обучения версии 3.6. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Проверьте срок действия поддержки для версий HDInsight и типов кластеров здесь.

Изменения в работе

В этом выпуске не вносятся изменения в поведении.

Предстоящие изменения

В предстоящих выпусках будут внесены описанные ниже изменения.

Возможность выбора различных размеров виртуальных машин Zookeeper для Spark, Hadoop и Служб машинного обучения

Исправления ошибок

HDInsight постоянно повышает надежность и производительность кластеров.

Изменение версий компонентов

Дата выпуска: 28.09.2020

Новые возможности

Автомасштабирование для Interactive Query с помощью HDInsight 4.0 теперь общедоступно

Автоматическое масштабирование для типа кластера Interactive Query теперь общедоступно (GA) для HDInsight 4.0. Все кластеры Interactive Query 4.0, созданные после 27 августа 2020 г., будут иметь общедоступную поддержку автоматического масштабирования.

Кластер HBase поддерживает ADLS 2-го поколения Premium

HDInsight теперь поддерживает ADLS 2-го поколения Premium в качестве первичной учетной записи хранения для кластеров HDInsight HBase 3.6 и 4.0. Вместе с ускоренными операциями записи можно повысить производительность кластеров HBase.

Распределение секций Kafka в доменах сбоя Azure

Домен сбоя — это логическое объединение базового оборудования в центре обработки данных Azure. Все домены сбоя используют общий источник питания и сетевой коммутатор. Прежде чем HDInsight Kafka может хранить все реплика секции в одном домене сбоя. Начиная с этого выпуска, HDInsight поддерживает автоматическое распределение секций Kafka на основе доменов сбоя Azure.

Шифрование при передаче

Клиенты могут включить шифрование при передаче между узлами кластера, используя шифрование IPSec с ключами, управляемыми платформой. Этот параметр можно включить во время создания кластера. См. дополнительные сведения о том, как включить шифрование при передаче.

Шифрование на узле

При включении шифрования на узле данные, хранящиеся на узле виртуальной машины, шифруются при хранении и передаются в зашифрованном виде в службу хранилища. Начиная с этого выпуска, можно включить шифрование на узле на диске с временными данными при создании кластера. Шифрование на узле поддерживается только для определенных номеров SKU виртуальных машин в ограниченном числе регионов. HDInsight поддерживает следующие конфигурацию узла и номера SKU. См. дополнительные сведения о том, как включить шифрование на узле.

Переход на масштабируемые наборы виртуальных машин Azure

Устаревание

Список устаревших компонентов в этом выпуске не расширяется.

Изменения в работе

В этом выпуске не вносятся изменения в поведении.

Предстоящие изменения

В предстоящих выпусках будут внесены описанные ниже изменения.

Возможность выбора различных номеров SKU Zookeeper для Spark, Hadoop и Служб машинного обучения

На сегодня HDInsight не поддерживает изменение SKU Zookeeper для типов кластера Spark, Hadoop и Служб машинного обучения. Для узлов Zookeeper используется SKU A2_v2/A2, и клиенты за это не платят. В следующем выпуске клиенты могут изменить SKU Zookeeper для служб Spark, Hadoop и ML по мере необходимости. За узлы Zookeeper с отличными от A2_v2/A2 SKU будет начисляться счет. Номером SKU по умолчанию по-прежнему будет A2_V2/A2, без оплаты.

Исправления ошибок

HDInsight постоянно повышает надежность и производительность кластеров.

Изменение версий компонентов

Дата выпуска: 09.08.2020

Этот выпуск применим только к HDInsight версии 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.

Новые возможности

Поддержка SparkCruise

SparkCruise — система автоматического повторного использования вычислений для Spark. Она выбирает общие части выражений для материализации на основе рабочей нагрузки прошлых запросов. SparkCruise обрабатывает эти части выражения в процессе обработки запросов, и повторное использование вычислений применяется автоматически в фоновом режиме. Вы можете воспользоваться преимуществами SparkCruise, не внося никаких изменений в код Spark.

Поддержка представления Hive для HDInsight 4.0

Представление Hive Apache Ambari предназначено для помощи в создании, оптимизации и выполнении запросов Hive из веб-браузера. Изначально представление Hive поддерживается для кластеров HDInsight 4.0, начиная с этого выпуска. Оно не применяется к существующим кластерам. Чтобы получить встроенное представление Hive, необходимо удалить и повторно создать кластер.

Поддержка представления Tez для HDInsight 4.0

Представление Apache Tez используется для отслеживания и отладки выполнения задания Hive Tez. Изначально представление Tez поддерживается для HDInsight 4.0, начиная с этого выпуска. Оно не применяется к существующим кластерам. Чтобы получить встроенное представление Tez, необходимо удалить и повторно создать кластер.

Устаревание

Устаревание Spark 2.1 и 2.2 для кластера Spark в HDInsight 3.6

Начиная с 1 июля 2020 г. клиенты не могут создавать новые кластеры Spark с Spark 2.1 и 2.2 в HDInsight 3.6. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти к версии Spark 2.3 в HDInsight 3.6 не позднее 30 июня 2020 г., чтобы избежать потенциальных проблем или перерывов в работе.

Устаревание Spark 2.3 для кластера Spark в HDInsight 4.0

Начиная с 1 июля 2020 г. клиенты не могут создавать новые кластеры Spark с Spark 2.3 в HDInsight 4.0. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Spark 2.4 в HDInsight 4.0 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.

Устаревание Kafka 1.1 для кластера Kafka в HDInsight 4.0

Начиная с 1 июля 2020 г. клиенты не смогут создавать новые кластеры Kafka с Kafka 1.1 в HDInsight 4.0. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Kafka 2.1 в HDInsight 4.0 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.

Изменения в работе

Изменение версии стека Ambari

В этом выпуске версия Ambari изменяется с 2.x.x.x на 4.1. Версию стека (HDInsight 4.1) можно проверить в Ambari: Ambari > Пользователь >Версии.

Предстоящие изменения

Нет предстоящих критических изменений, на которые нужно обратить внимание.

Исправления ошибок

HDInsight постоянно повышает надежность и производительность кластеров.

Приведенные ниже JIRA обратно портированы для Hive:

Приведенные ниже JIRA обратно портированы для HBase:

Изменение версий компонентов

Известные проблемы

Исправлена проблема на портале Azure, где у пользователей возникала ошибка при создании кластера Azure HDInsight с помощью типа проверки подлинности SSH с открытым ключом. Когда пользователи нажимали кнопку "Проверка и создание", они получат сообщение об ошибке "Не должно содержать трех последовательных символов из имени пользователя SSH". Эта проблема устранена, но может потребоваться обновить кэш браузера, нажав клавиши CTRL+F5, чтобы загрузить исправленное представление. Чтобы решить эту проблему, необходимо создать кластер с шаблоном Resource Manager.

Дата выпуска: 13.07.2020

Этот выпуск применим к HDInsight версий 3.6 и 4.0. Выпуск HDInsight предоставляется для разных регионов на протяжении нескольких дней. Указанная здесь дата выпуска обозначает дату выпуска для первого из регионов. Если вы не видите следующие изменения, подождите, пока выпуск будет жить в вашем регионе в течение нескольких дней.

Новые возможности

Поддержка защищенного хранилища для пользователей Microsoft Azure

Azure HDInsight теперь поддерживает защищенное хранилище Azure. Клиенты получают интерфейс для просмотра и утверждения или отклонения запросов на доступ к данным клиента. Он используется, когда инженер Майкрософт должен получить доступ к данным клиента во время запроса на поддержку. Дополнительные сведения см. в разделе Защищенное хранилище для Microsoft Azure.

Политики конечной точки службы для хранилища

Теперь клиенты могут использовать политики конечной точки службы (SEP) в подсети кластера HDInsight. Дополнительные сведения о политике конечной точки службы Azure.

Устаревание

Устаревание Spark 2.1 и 2.2 для кластера Spark в HDInsight 3.6

Устаревание Spark 2.3 для кластера Spark в HDInsight 4.0

Устаревание Kafka 1.1 для кластера Kafka в HDInsight 4.0

Изменения в работе

Нет изменений в поведении, на которые нужно обратить внимание.

Предстоящие изменения

В предстоящих выпусках будут внесены описанные ниже изменения.

Возможность выбора различных номеров SKU Zookeeper для Spark, Hadoop и Служб машинного обучения

На сегодня HDInsight не поддерживает изменение SKU Zookeeper для типов кластера Spark, Hadoop и Служб машинного обучения. Для узлов Zookeeper используется SKU A2_v2/A2, и клиенты за это не платят. В следующем выпуске клиенты смогут изменить SKU Zookeeper для служб Spark, Hadoop и ML по мере необходимости. За узлы Zookeeper с отличными от A2_v2/A2 SKU будет начисляться счет. Номером SKU по умолчанию по-прежнему будет A2_V2/A2, без оплаты.

Исправления ошибок

HDInsight постоянно повышает надежность и производительность кластеров.

Исправлена проблема с Hive Warehouse Connector

В предыдущем выпуске возникла ошибка использования Hive Warehouse Connector. Теперь эта проблема устранена.

Исправлена проблема с усечением начальных нулей в записной книжке Zeppelin

В Zeppelin неправильно усекались начальные нули в выходных данных таблицы для формата строки. Мы устранили эту ошибку в данном выпуске.

Изменение версий компонентов

Дата выпуска: 11.06.2020

Новые возможности

Переход на масштабируемые наборы виртуальных машин Azure

Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Начиная с этого выпуска, в новых кластерах HDInsight будет использоваться масштабируемый набор виртуальных машин Azure. Изменение развертывается постепенно. Резкого изменения не предполагается. Изучите информацию о масштабируемых наборах виртуальных машин Azure.

Перезагрузка виртуальных машин в кластере HDInsight

В этом выпуске мы поддерживаем перезагрузку виртуальных машин в кластере HDInsight для перезагрузки нереагирующих узлов. В настоящее время это можно сделать только через API, поддержка PowerShell и CLI ожидается. Дополнительные сведения об интерфейсе API см. в этом документе.

Устаревание

Устаревание Spark 2.1 и 2.2 для кластера Spark в HDInsight 3.6

Устаревание Spark 2.3 для кластера Spark в HDInsight 4.0

Устаревание Kafka 1.1 для кластера Kafka в HDInsight 4.0

Изменения в работе

Изменение размера головного узла для кластера ESP Spark

Минимальный разрешенный размер головного узла для кластера ESP Spark изменен на Standard_D13_V2. Виртуальные машины с небольшим количеством ядер и объемом памяти в качестве головного узла могут вызвать проблемы с кластером ESP из-за относительной нехватки ресурсов ЦП и памяти. Начиная с этого выпуска, используйте номера SKU выше Standard_D13_V2 и Standard_E16_V3 в качестве головного узла для кластеров ESP Spark.

Для головного узла требуется виртуальная машина с не менее чем 4-мя ядрами

Для головного узла требуется виртуальная машина с не менее чем 4-мя ядрами, чтобы обеспечивать высокий уровень доступности и надежности для кластеров HDInsight. Начиная с 6 апреля 2020 г. клиенты смогут выбрать в качестве головного узла для новых кластеров HDInsight только виртуальные машины с 4-мя и более ядрами. Существующие кластеры продолжат работать ожидаемым образом.

Изменение подготовки рабочих узлов кластера

Когда 80% рабочих узлов готовы, кластер переходит на операционный этап. На этом этапе клиенты могут выполнять все операции в плоскости данных, такие как выполнение скриптов и заданий. Но клиенты не могут выполнять операции на уровне управления, такие как увеличение или уменьшение масштаба. Поддерживается только удаление.

После операционного этапа кластер ожидает еще 60 минут для оставшихся 20% рабочих узлов. В конце этого 60-минутного периода кластер переходит на запущенный этап, даже если все рабочие узлы по-прежнему недоступны. После того как кластер перейдет на этап выполнения, его можно использовать как обычно. Принимаются как операции уровня управления, такие как увеличение или уменьшение масштаба, так и операции в плоскости данных, такие как выполнение скриптов и заданий. Если некоторые из запрошенных рабочих узлов недоступны, кластер будет помечен как частичный успех. Вы платите за узлы, которые были успешно развернуты.

Создание нового субъекта-службы с помощью HDInsight

Ранее при создании кластера клиенты могли создать новый субъект-службу для доступа к подключенной учетной записи ADLS 1-го поколения на портале Azure. Начиная с 15 июня 2020 г. создание нового субъекта-службы невозможно в рабочем процессе создания HDInsight, поддерживается только существующий субъект-служба. См. Создание субъекта-службы и сертификатов с помощью Azure Active Directory.

Время ожидания для действий скриптов с созданием кластера

HDInsight поддерживает выполнение действий скриптов с созданием кластера. В этом выпуске все действия скрипта с созданием кластера должны завершиться в течение 60 минут или истекает время ожидания. Действия скрипта, отправленные в запущенные кластеры, не влияют. Дополнительные сведения см. здесь.

Предстоящие изменения

Нет предстоящих критических изменений, на которые нужно обратить внимание.

Исправления ошибок

HDInsight постоянно повышает надежность и производительность кластеров.

Изменение версий компонентов

Обновление HBase 2.0 до 2.1.6

Версия HBase обновлена с 2.0 до 2.1.6.

Обновление Spark 2.4.0 до 2.4.4

Версия Spark обновлена с 2.4.0 до 2.4.4.

Обновление Kafka 2.1.0 до 2.1.1

Версия Kafka обновлена с 2.1.0 до 2.1.1.

Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 см. в этом документе.

Известные проблемы

Проблема с Hive Warehouse Connector

В этом выпуске возникла проблема с Подключение хранилищем Hive. Исправление войдет в следующий выпуск. Существующие кластеры, созданные до этого выпуска, не влияют. По возможности избегайте удаления и повторного создания кластера. Если вам нужна дополнительная помощь, откройте запрос в службу поддержки.

Дата выпуска: 01.09.2020

Новые возможности

Обязательное использование TLS 1.2

TLS и SSL являются протоколами шифрования, которые обеспечивает безопасность передачи данных по сети. Дополнительные сведения о TLS. В HDInsight используется TLS 1.2 на общедоступных конечных точках HTTPS, но TLS 1.1 пока поддерживается для обеспечения обратной совместимости.

Начиная с этого выпуска клиенты могут потребовать использовать только TLS 1.2 для всех подключений через конечную точку общедоступного кластера. Для этого введено новое свойство minSupportedTlsVersion, которое можно указать во время создания кластера. Если значение для этого свойства не задано, кластер сохраняет поддержку TLS 1.0, 1.1 и 1.2, что соответствует текущему поведению. Клиенты могут задать для этого свойства значение "1.2", и тогда кластер будет поддерживать только TLS 1.2 и более поздних версий. Дополнительные сведения см. в статье о протоколе TLS.

Использование собственных ключей для шифрования дисков

Все управляемые диски в HDInsight защищены с помощью шифрования службы хранилища Azure (SSE). Данные на этих дисках по умолчанию шифруются с помощью ключей, управляемых корпорацией Майкрософт. Начиная с этого выпуска вы можете создавать собственные ключи (технология BYOK) для шифрования дисков и управлять ими в Azure Key Vault. Шифрование с поддержкой BYOK настраивается для кластера одним действием во время его создания и не предполагает других затрат. Просто зарегистрируйте HDInsight в качестве управляемого удостоверения в Azure Key Vault и добавьте ключ шифрования при создании кластера. Подробнее см. статью о шифровании диска с управляемыми клиентом ключами.

Устаревание

Список устаревших компонентов в этом выпуске не расширяется. Чтобы подготовиться к планам по прекращению поддержки, изучите список Предстоящие изменения.

Изменения в работе

В этом выпуске не вносятся изменения в поведении. Чтобы подготовиться к планам по изменениям, изучите список Предстоящие изменения.

Предстоящие изменения

В предстоящих выпусках будут внесены описанные ниже изменения.

Устаревание Spark 2.1 и 2.2 для кластера Spark в HDInsight 3.6

Начиная с 1 июля 2020 г. клиенты не смогут создавать новые кластеры Spark с Spark 2.1 и 2.2 в HDInsight 3.6. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Spark 2.3 в HDInsight 3.6 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.

Устаревание Spark 2.3 для кластера Spark в HDInsight 4.0

Начиная с 1 июля 2020 г. клиенты не смогут создавать новые кластеры Spark с Spark 2.3 в HDInsight 4.0. Существующие кластеры будут продолжать работу без изменений, но без поддержки со стороны корпорации Майкрософт. Постарайтесь перейти на версию Spark 2.4 в HDInsight 4.0 не позднее 30 июня 2020 г., чтобы избежать возможных проблем или перерывов в работе.

Устаревание Kafka 1.1 для кластера Kafka в HDInsight 4.0

Обновление HBase 2.0 до 2.1.6

В предстоящем выпуске HDInsight 4.0 версия HBase будет обновлена с 2.0 до 2.1.6

Обновление Spark 2.4.0 до 2.4.4

В предстоящем выпуске HDInsight 4.0 версия Spark будет обновлена с 2.4.0 до 2.4.4

Обновление Kafka 2.1.0 до 2.1.1

В предстоящем выпуске HDInsight 4.0 версия Kafka будет обновлена с 2.1.0 до 2.1.1

Для головного узла требуется виртуальная машина с не менее чем 4-мя ядрами

Изменение размера узла для кластера ESP Spark

В предстоящем выпуске минимальный разрешенный размер узла для кластера ESP Spark изменится на Standard_D13_V2. Виртуальные машины серии A могут приводить к проблемам с кластером ESP из-за сравнительно малого объема ресурсов ЦП и памяти. Виртуальные машины серии A не рекомендуются для создания новых кластеров ESP.

Переход на масштабируемые наборы виртуальных машин Azure

Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. В предстоящем выпуске HDInsight переключится на использование масштабируемых наборов виртуальных машин Azure. Изучите информацию о масштабируемых наборах виртуальных машин Azure.

Исправления ошибок

HDInsight постоянно повышает надежность и производительность кластеров.

Изменение версий компонентов

В этом выпуска не вносилось изменений в версии компонентов. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 вы можете найти здесь.

Дата выпуска: 17.12.2019

Этот выпуск применим к HDInsight версий 3.6 и 4.0.

Новые возможности

Теги служб

Теги служб упрощают безопасность виртуальных машин Azure и виртуальных сетей Azure, позволяя легко ограничить сетевой доступ к службам Azure. Теги служб можно использовать в правилах группы безопасности сети (NSG), чтобы разрешать или запрещать трафик к определенной службе Azure глобально или по определенным регионам Azure. За обслуживание IP-адресов для этих тегов отвечает Azure. Теги службы HDInsight для групп безопасности сети (NSG) — это группы IP-адресов для служб работоспособности и управления. Эти группы упрощают создание правил безопасности. Клиенты HDInsight могут включить тег службы с помощью портала Azure, PowerShell и REST API. Дополнительные сведения см. в статье Теги службы Azure HDInsight для групп безопасности сети.

Пользовательская база данных Ambari DB

HDInsight теперь позволяет использовать собственную базу данных SQL для Apache Ambari. Эту пользовательскую базу данных Ambari можно настроить на портале Azure или с помощью шаблона Resource Manager. Эта функция позволяет выбрать подходящую базу данных SQL для ваших потребностей в обработке и емкости. Также можно легко выполнить обновление в соответствии с требованиями растущего бизнеса. Дополнительные сведения см. в статье Настройка кластеров HDInsight с помощью пользовательской базы данных Ambari DB.

Пользовательская база данных Ambari.

Устаревание

Изменения в работе

В этом выпуске не вносятся изменения в поведении. Чтобы подготовиться к предстоящим изменениям в поведении, изучите список Предстоящие изменения.

Предстоящие изменения

В предстоящих выпусках будут внесены описанные ниже изменения.

Принудительное применение протокола TLS версии 1.2

TLS и SSL являются протоколами шифрования, которые обеспечивает безопасность передачи данных по сети. Дополнительные сведения см. в статье о протоколе TLS. Хотя кластеры Azure HDInsight принимают подключения TLS 1.2 в общедоступных конечных точках HTTPS, TLS 1.1 по-прежнему поддерживается для обратной совместимости со старыми клиентами.

Начиная со следующего выпуска, вы сможете выбрать и настроить новые кластеры HDInsight на прием только подключений TLS 1.2.

Позднее в этом году, начиная с 30.06.2020, Azure HDInsight будет принудительно применять TLS 1.2 или более поздних версий для всех подключений HTTPS. Рекомендуем убедиться, что все клиенты готовы к работе с TLS 1.2 или более поздней версии.

Переход на масштабируемые наборы виртуальных машин Azure

Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Начиная с февраля 2020 (точная дата будет сообщена позже), HDInsight будет использовать вместо этого масштабируемые наборы виртуальных машин Azure. Изучите информацию о масштабируемых наборах виртуальных машин Azure.

Изменение размера узла для кластера ESP Spark

В следующем выпуске:

Минимальный разрешенный размер узла для кластера ESP Spark будет изменен на Standard_D13_V2.
Виртуальные машины серии A будут объявлены нерекомендуемыми для создания новых кластеров ESP, так как виртуальные машины серии A могут вызвать проблемы с кластером ESP из-за относительной нехватки ресурсов ЦП и памяти.

Обновление HBase 2.0 до 2.1

В предстоящем выпуске HDInsight 4.0 версия HBase будет обновлена с 2.0 до 2.1.

Исправления ошибок

HDInsight постоянно повышает надежность и производительность кластеров.

Изменение версий компонентов

Поддержка HDInsight 3.6 была продлена до 31 декабря 2020 г. Дополнительные сведения см. в статье Поддерживаемые версии HDInsight.

Для HDInsight 4.0 нет изменений в версии компонентов.

Apache Zeppelin в HDInsight 3.6: 0.7.0-->0.7.3.

Последние версии компонентов можно найти в этом документе.

Новые регионы

Северная часть ОАЭ;

IP-адреса управления для северной части ОАЭ: 65.52.252.96 и 65.52.252.97.

Дата выпуска: 07.11.2019

Этот выпуск применим к HDInsight версий 3.6 и 4.0.

Новые возможности

Брокер удостоверений HDInsight (HIB) (предварительная версия)

HdInsight Identity Broker (HIB) позволяет пользователям входить в Apache Ambari с помощью многофакторной проверки подлинности (MFA) и получать необходимые билеты Kerberos без хэшей паролей в службах Azure домен Active Directory (AAD-DS). Сейчас HIB доступен только для кластеров, развернутых с помощью шаблона Azure Resource Manager (ARM).

Прокси-сервер API Rest для Kafka (предварительная версия)

Прокси-сервер API Rest для Kafka обеспечивает развертывание одним щелчком прокси-сервера REST высокой надежности с кластером Kafka посредством защищенной авторизации Azure AD и протокола OAuth.

Автомасштабирование

Автоматическое масштабирование Azure HDInsight теперь общедоступно во всех регионах для типов кластеров Apache Spark и Hadoop. Эта функция позволяет управлять рабочими нагрузками аналитики больших данных более экономичным и эффективным способом. Теперь можно оптимизировать использование кластеров HDInsight и платить только за то, что вам нужно.

В зависимости от ваших требований вы можете выбирать между автомасштабированием с учетом загрузки и автомасштабированием с учетом расписания. Автомасштабирование на основе нагрузки позволяет масштабировать размер кластера в соответствии с текущими потребностями в ресурсах, а автомасштабирование на основе расписания — изменять размер кластера на основе предопределенного расписания.

Поддержка автомасштабирования для рабочей нагрузки HBase и LLAP также находится в статусе общедоступной предварительной версией. Дополнительные сведения см. в разделе Автоматическое масштабирование кластеров Azure HDInsight.

Ускорение операций записи Azure HDInsight для Apache HBase

Для ускоренной записи используются управляемые диски Azure SSD ценовой категории "Премиум", которые позволяют повысить производительность журнала упреждающего протоколирования Apache HBase (WAL). Дополнительные сведения см. в статье Azure HDInsight Accelerated Writes for Apache HBase (Ускоренные операции записи Azure HDInsight для Apache HBase).

Пользовательская база данных Ambari DB

Теперь HDInsight предлагает новую емкость, которая позволит клиентам использовать собственную базу данных SQL для Ambari. Клиенты теперь могут выбрать подходящую базу данных SQL для Ambari и легко обновлять ее в соответствии с требованиями к росту бизнеса. Развертывание осуществляется с помощью шаблона Azure Resource Manager. Дополнительные сведения см. в статье Настройка кластеров HDInsight с помощью пользовательской базы данных Ambari DB.

Виртуальные машины серии F теперь доступны в HDInsight

Виртуальные машины серии F — хороший выбор для начала работы с HDInsight при незначительных требованиях к обработке. Предлагая более низкую стоимость часа по прейскуранту, серия F обеспечивает наилучшее соотношение цены и производительности в портфеле Azure в единицах вычисления Azure (ACU) на виртуальный ЦП. Дополнительные сведения см. в статье Выбор правильного размера виртуальной машины для кластера Azure HDInsight.

Устаревание

Устаревание виртуальных машин серии G

Начиная с этого выпуска, виртуальные машины серии G больше не предлагаются в HDInsight.

`Dv1` нерекомендуемая виртуальная машина

В этом выпуске использование виртуальных Dv1 машин с HDInsight не рекомендуется. Любой запрос Dv1 клиента будет обслуживаться Dv2 автоматически. Нет разницы в цене между Dv1 виртуальными Dv2 машинами.

Изменения в работе

Изменение размера управляемого диска кластера

HDInsight предоставляет с кластером управляемое дисковое пространство. Начиная с этого выпуска, размер управляемого диска каждого узла в новом созданном кластере изменен на 128 ГБ.

Предстоящие изменения

В предстоящих выпусках будут внесены описанные ниже изменения.

Переход на масштабируемые наборы виртуальных машин Azure

Сейчас HDInsight использует для подготовки кластера виртуальные машины Azure. Начиная с декабря, HDInsight переключится на использование масштабируемых наборов виртуальных машин Azure. Изучите информацию о масштабируемых наборах виртуальных машин Azure.

Обновление HBase 2.0 до 2.1

В предстоящем выпуске HDInsight 4.0 версия HBase будет обновлена с 2.0 до 2.1.

Устаревание виртуальных машин серии A для кластера ESP

Виртуальные машины серии A могут приводить к проблемам с кластером ESP из-за сравнительно малого объема ресурсов ЦП и памяти. В предстоящем выпуске виртуальные машины серии A не будут рекомендоваться для создания новых кластеров ESP.

Исправления ошибок

HDInsight постоянно повышает надежность и производительность кластеров.

Изменение версий компонентов

Для этого выпуска не изменяется версия компонента. Текущие версии компонентов для HDInsight 4.0 и HDInsight 3.6 можно найти здесь.

Дата выпуска: 07.08.2019

Версии компонентов

Официальные версии Apache всех компонентов HDInsight 4.0 перечислены ниже. Перечисленные компоненты являются выпусками самых последних доступных стабильных версий.

Apache Ambari 2.7.1
Apache Hadoop 3.1.1
Apache HBase 2.0.0
Apache Hive 3.1.0
Apache Kafka 1.1.1, 2.1.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.3.1, 2.4.0
Apache Sqoop 1.4.7
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6

В дополнение к версиям, перечисленным выше, более поздние версии компонентов Apache иногда включаются в пакет в платформе HDP. В этом случае эти более поздние версии приводятся в таблице технических предварительных версий и не должны заменять версии компонента Apache указанного выше списка в рабочей среде.

Сведения об исправлениях Apache

Дополнительные сведения об исправлениях, доступных в HDInsight 4.0, см. в списке исправлений для каждого продукта в таблице ниже.

Название продукта	Сведения об исправлениях
Ambari	Сведения об исправлениях Apache
Hadoop	Сведения об исправлениях Hadoop
HBase	Сведения об исправлениях HBase
Куст	В этом выпуске предоставляется Hive 3.1.0 без дополнительных исправлений Apache.
Kafka	В этом выпуске предоставляется Kafka 1.1.1 без дополнительных исправлений Apache.
Oozie,	Сведения об исправлениях Oozie
Phoenix	Сведения об исправлениях Phoenix
Pig,	Сведения об исправлениях Pig
Ranger	Сведения об исправлениях Ranger
Spark	Сведения об исправлениях Spark
Sqoop	В этом выпуске предоставляется Sqoop 1.4.7 без дополнительных исправлений Apache.
Tez	В этом выпуске предоставляется Tez 0.9.1 без дополнительных исправлений Apache.
Zeppelin	В этом выпуске предоставляется Zeppelin 0.8.0 без дополнительных исправлений Apache.
Zookeeper	Сведения об исправлениях Zookeeper

Исправлены проблемы, связанные с распространенными уязвимостями и рисками

Дополнительные сведения о проблемах безопасности, устраненных в этом выпуске, см. в статье Hortonworks Fixed Common Vulnerabilities and Exposures for HDP 3.0.1 (Устраненные распространенные уязвимости и риски для HDP 3.0.1).

Известные проблемы

Репликация не работает для Secure HBase с установкой по умолчанию

Для HDInsight 4.0 выполните следующие действия.

Включите обмен данными между кластерами.
Войдите на активный головной узел.
Загрузите скрипт для включения репликации с помощью следующей команды:
```
sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
```
Введите команду sudo kinit <domainuser>.

Введите следующую команду, чтобы запустить скрипт:

sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Для HDInsight 3.6

Войдите в активный HMaster ZK.
Загрузите скрипт для включения репликации с помощью следующей команды:
```
sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
```
Введите команду sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>.

Введите следующую команду:

sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Phoenix Sqlline перестает работать после переноса кластера HBase в HDInsight 4.0

Выполните следующие действия:

Удалите следующие таблицы Phoenix:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.MUTEX
5. SYSTEM.CATALOG
Если не удается удалить ни одну из таблиц, перезапустите HBase, чтобы очистить все соединения с таблицами.
Еще раз запустите sqlline.py. Phoenix повторно создаст все таблицы, которые были удалены на шаге 1.
Повторно создайте таблицы и представления Phoenix для данных HBase.

Phoenix Sqlline прекращает работу после репликации метаданных HBase Phoenix из HDInsight 3.6 в 4.0

Выполните следующие действия:

Перед выполнением репликации перейдите в целевой кластер 4.0 и выполните sqlline.py. Эта команда создаст таблицы Phoenix, такие как SYSTEM.MUTEX и SYSTEM.LOG, которые существуют только в 4.0.
Удалите следующие таблицы:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.CATALOG
Запуск репликации HBase

Устаревание

Apache Storm и Службы машинного обучения недоступны в HDInsight 4.0.

Дата выпуска: 14.04.2019

Новые возможности

Новые обновления и возможности относятся к следующим категориям.

Обновление Hadoop и других проектов с открытым кодом. Помимо исправления более чем 1000 ошибок в более чем 20 проектах с открытым кодом, это обновление также содержит новые версии Spark (2.3) и Kafka (1.0).

a. Новые функции в Apache Spark 2.3

b. Новые функции в Apache Kafka 1.0
Обновление R Server 9.1 до Служб машинного обучения 9.3. В этом выпуске мы предоставили специалистам по анализу данных и инженерам лучшие проекты с открытым кодом, дополненные инновационными алгоритмами и возможностью легко вводить их в эксплуатацию, причем на любом удобном языке с сохранением скорости Apache Spark. Этот выпуск расширяет возможности, предлагаемые R Server, реализуя поддержку Python. Из-за этого имя кластера изменено с R Server на Службы машинного обучения.
Поддержка Azure Data Lake Storage поколения 2. HDInsight теперь будет поддерживать предварительный выпуск Azure Data Lake Storage поколения 2. Во всех регионах доступности клиентам будет предоставлена возможность выбрать учетную запись ADSL поколения 2, как основное или дополнительное хранилище для кластеров HDInsight.
Пакет безопасности HDInsight Enterprise Обновления (предварительная версия) — (предварительная версия)виртуальная сеть конечных точек службы для Хранилище BLOB-объектов Azure, ADLS 1-го поколения, Azure Cosmos DB и Azure DB.

Версии компонентов

Официальные версии Apache всех компонентов HDInsight 3.6 перечислены ниже. Все компоненты, перечисленные здесь, являются официальными выпусками Apache самых последних из доступных стабильных версий.

Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ 0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6

В дополнение к версиям, перечисленным выше, более поздние версии нескольких компонентов Apache иногда включаются в пакет в платформе HDP. В этом случае эти более поздние версии приводятся в таблице технических предварительных версий и не должны заменять версии компонента Apache указанного выше списка в рабочей среде.

Сведения об исправлениях Apache

Hadoop

В этом выпуске содержится Hadoop Common 2.7.3 и следующие исправления Apache.

HADOOP-13190: укажите поставщик LoadBalancingKMSClientProvider в документации высокой доступности сервера управления ключами.
HADOOP-13227: обработчик AsyncCallHandler должен использовать архитектуру, управляемую событиями, для обработки асинхронных вызовов.
HADOOP-14104: клиент должен всегда запрашивать узел с именем для пути поставщика сервера управления ключами.
HADOOP-14799: обновите nimbus-jose-jwt до версии 4.41.1.
HADOOP-14814: исправьте изменение в несовместимом API в FsServerDefaults на HADOOP-14104.
HADOOP-14903: добавьте явным образом json-smart в файл pom.xml.
HADOOP-15042: Azure PageBlobInputStream.skip() может возвращать отрицательное значение, когда значение numberOfPagesRemaining равно 0.
HADOOP-15255: поддержка преобразования верхнего и нижнего регистров для имен групп в LdapGroupsMapping.
HADOOP-15265: исключите явным образом json-smart из файла pom.xml hadoop-auth.
HDFS-7922: ShortCircuitCache#close не выпускает ScheduledThreadPoolExecutors.
HDFS-8496: вызов stopWriter() с блокировкой FSDatasetImpl может блокировать другие потоки (cmccabe).
HDFS-10267: дополнительно синхронизированный в FsDatasetImpl#recoverAppend и FsDatasetImpl#recoverClose.
HDFS-10489: объявите устаревшим URI dfs.encryption.key.provider.uri для зон шифрования HDFS.
HDFS-11384: добавьте параметр для балансировщика для разгона вызовов getBlocks, чтобы избежать всплеска rpc.CallQueueLength узла NameNode.
HDFS-11689: новое исключение, вызванное DFSClient%isHDFSEncryptionEnabled сломаем hacky кода hive.
HDFS-11711: DN не должен удалять блок "Слишком много открытых файлов".
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay часто завершается сбоем.
HDFS-12781: после Datanode падения Namenode на вкладке пользовательского интерфейса Datanode возникает предупреждение.
HDFS-13054: обработка PathIsNotEmptyDirectoryException при DFSClient вызове удаления.
HDFS-13120: инструмент сравнения моментального снимка мог быть поврежден после объединения.
YARN-3742: YARN RM завершит работу, если ZKClient время создания истекло.
YARN-6061: добавьте обработчик UncaughtExceptionHandler для критических потоков в RM.
YARN-7558: не удалось выполнить команду журналов Yarn, чтобы получить журналы для запуска контейнеров при включенной проверке подлинности пользовательского интерфейса.
YARN-7697: извлечение журналов для готового приложения завершается сбоем, даже если выполнена агрегация журнала.

В HDP версии 2.6.4 содержится Hadoop Common 2.7.3 и следующие исправления Apache.

HADOOP-137000: удалите неуправляемые IOException из КорзинПолиси#инициализация и #getInstance подписей.
HADOOP-13709: возможность очистить подпроцессы, порожденные Shell, при наличии процесса.
HADOOP-14059: опечатка в s3a сообщении об ошибке переименования (self, subdir).
HADOOP-14542: добавьте средство ведения журнала IOUtils.cleanupWithLogger, которое принимает API средства ведения журнала slf4j.
HDFS-9887: время ожидания сокета WebHDFS должно быть настраиваемое.
HDFS-9914: исправьте настраиваемое время ожидания на чтение и подключение WebHDFS.
MAPREDUCE-6698: увеличьте время ожидания в TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser.
YARN-4550: некоторые проверки в TestContainerLanch не удается выполнить в среде языкового стандарта, отличного от английского.
YARN-4717: работа каталога TestResourceLocalizationService.testPublicResourceInitializesLocalDir периодически прерывается из-за исключения IllegalArgumentException в процессе очистки.
YARN-5042: подключите группу /sys/fs/cgroup к контейнерам Docker, выбрав подключение только для чтения.
YARN-5318: исправьте проблему с прерывающейся проверкой поставщика TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider.
YARN-5641: средство локализации остается за пределами архивов в формате TAR после завершения создания контейнера.
YARN-6004: Refactor TestResourceLocalizationService#testDownloadingResourcesOnContainer, чтобы оно было меньше 150 строк.
YARN-6078: контейнеры зависли в состоянии локализации.
YARN-6805: NPE в исполнителе LinuxContainerExecutor из-за кода завершения исключения PrivilegedOperationException со значением NULL.

HBase

В этом выпуске содержится HBase 1.1.2 и следующие исправления Apache.

HBASE-13376: улучшения стохастической подсистемы балансировки нагрузки.
HBASE-13716: прекратите использовать константы FSConstants Hadoop.
HBASE-13848: получите доступ к паролям SSL InfoServer с помощью API поставщика учетных данных.
HBASE-13947: используйте службы MasterServices вместо сервера в AssignmentManager.
HBASE-14135: этап 3 резервного копирования и восстановления HBase — объедините образы резервных копий.
HBASE-14473: вычислите местоположение региона в параллельном режиме.
HBASE-14517: отображение regionserver's версии на главной странице состояния.
HBASE-14606: в Apache истекло время ожидания проверок TestSecureLoadIncrementalHFiles в сборке магистралей.
HBASE-15210: отмените интенсивное ведение журналов для десятков строк за миллисекунду в подсистеме балансировки нагрузки.
HBASE-15515: оптимизируйте в балансировщике LocalityBasedCandidateGenerator.
HBASE-15615: неправильное время сна, когда RegionServerCallable требуется повторить попытку.
HBASE-16135: PeerClusterZnode под rs удаленный одноранговый узел может никогда не удаляться.
HBASE-16570: при запуске вычислите местоположение региона в параллельном режиме.
HBASE-16810: HBase Balancer создает исключение ArrayIndexOutOfBoundsException при regionservers использовании /hbase/очистки znode и выгрузки.
HBASE-16852: сбой TestDefaultCompactSelection в ветви branch-1.3.
HBASE-17387: уменьшите нагрузку, указанную в отчете об исключении в RegionActionResult для multi().
HBASE-17850: служебная программа восстановления резервной копии.
HBASE-17931: назначьте системные таблицы серверам с самой последней версией.
HBASE-18083: обеспечьте возможность настройки числа потоков очистки файлов небольших и больших размеров в HFileCleaner.
HBASE-18084: оптимизируйте CleanerChore для очистки каталога, который потребляет больше дискового пространства.
HBASE-18164: более быстрая функция стоимости местоположения и генератор-кандидат.
HBASE-18212: предупреждающее сообщение в автономном режиме с журналами HBase в локальной файловой системе: Failed to invoke 'unbuffer' method in class org.apache.hadoop.fs.FSDataInputStream (Не удалось вызвать метод очистки буфера в классе org.apache.hadoop.fs.FSDataInputStream).
HBASE-18808: неэффективная проверка конфигурации в BackupLogCleaner#getDeletableFiles().
HBASE-19052: FixedFileTrailer должен распознавать класс CellComparatorImpl в ветви branch-1.x.
HBASE-19065: метод HRegion#bulkLoadHFiles() должен ожидать завершения параллельного метода Region#flush().
HBASE-19285: добавьте гистограммы задержки для каждой таблицы.
HBASE-19393: ошибка HTTP 413 FULL head (переполнение заголовка) во время доступа к пользовательскому интерфейсу HBase с помощью SSL.
HBASE-19395: [branch-1] ошибка разделения TestEndToEndSplitTransaction.testMasterOpsWhileSplitting с NPE.
HBASE-19421: ветвь branch-1 не компилируется с Hadoop версии 3.0.0.
HBASE-19934: исключение HBaseSnapshotException, если включены реплики чтения и при выполнении интерактивного моментального снимка после разделения региона.
HBASE-20008: [backport] исключение NullPointerException при восстановлении моментального снимка после разделения региона.

Куст

В этом выпуске содержатся Hive 1.2.1 и Hive 2.1.0, а также следующие исправления.

Исправления Apache Hive 1.2.1:

HIVE-10697: ObjectInspectorConvertors#UnionConvertor выполняет ошибочное преобразование.
HIVE-11266: неправильный результат count(*), основанный на статистике таблицы для внешних таблиц.
HIVE-12245: включите поддержку комментариев в столбце для архивной таблицы HBase.
HIVE-12315: исправьте деление на ноль двойного значения в векторной форме.
HIVE-12360: некорректный поиск в ORC без сжатия с включением предиката.
HIVE-12378: исключение в бинарном поле HBaseSerDe.serialize.
HIVE-12785: просмотр структуры с помощью типа объединения и определяемой пользователем функции не работает.
HIVE-14013: в таблице с описанием неправильно отображается Юникод.
HIVE-14205: Hive не поддерживает тип объединения с файлом формата AVRO.
HIVE-14421: FS.deleteOnExit содержит ссылки на файлы to _tmp_space.db.
HIVE-15563: проигнорируйте исключение перехода состояния недопустимой операции в запросе SQLOperation.runQuery, чтобы предоставить реальное исключение.
HIVE-15680: неправильные результаты в режиме MR, когда hive.optimize.index.filter=true и в запросе дважды содержится ссылка на одну таблицу ORC.
HIVE-15883: сопоставленная таблица HBase в Hive INSERT не подходит для десятичного числа.
HIVE-16232: включите поддержку вычисления статистики для столбцов в идентификаторе QuotedIdentifier.
HIVE-16828: с включенной оптимизацией с учетом затрат запрос в секционированных представлениях вызывает исключение IndexOutOfBoundException.
HIVE-17013: удалите запрос с вложенным запросом на основе выбора над представлением.
HIVE-17063: вставка раздела перезаписи во внешнюю таблицу завершается сбоем, если в первую очередь выполняется перетаскивание раздела.
HIVE-17259: Hive JDBC не распознает столбцы UNIONTYPE.
HIVE-17419: при выполнении команды ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS отображается вычисленная статистика для маскированных таблиц.
HIVE-17530: ClassCastException при преобразовании uniontype.
HIVE-17621: параметры Hive-site игнорируются во время вычисления разделения HCatInputFormat.
HIVE-17636: добавьте тест multiple_agg.q.blobstores
HIVE-17729: добавьте базу данных и объясните связанные проверки в хранилище BLOB-объектов.
HIVE-17731: добавьте обратный compat вариант для внешних пользователей в HIVE-11985.
HIVE-17803: при использовании множественного запроса Pig записи 2-х HCatStorers в одну таблицу будут удалять выходные данные друг друга.
HIVE-17829: ArrayIndexOutOfBoundsException — таблицы с поддержкой HBASE с схемой Avro в Hive2.
HIVE-17845: вставка завершается сбоем, если для столбцов целевой таблицы используется верхний регистр.
HIVE-17900: проанализируйте статистические данные в столбцах. Если они активированы с помощью уплотнителя, будет создан SQL неправильного формата с более чем 1 столбцом раздела.
HIVE-18026: оптимизация основной конфигурации Hive WebHCat.
HIVE-18031: включите поддержку репликации для операции изменения базы данных.
HIVE-18090: сбой пульса ACID при подключении хранилища метаданных через учетные данные Hadoop.
HIVE-18189: запрос Hive возвращает неправильные результаты, если для псевдонима hive.groupby.orderby.position.alias установлено значение true.
HIVE-18258: векторизация — Reduce-Side GROUP BY MERGEPARTIAL с двойными столбцами неработоспособна.
HIVE-18293: Hive не может сжимать таблицы, содержащиеся в папке, которая не принадлежит удостоверению, обеспечивающему работу хранилища HiveMetaStore.
HIVE-18327: удалите ненужную зависимость HiveConf для MiniHiveKdc.
HIVE-18341: добавьте поддержку загрузки REPL для добавления необработанного пространства имени для TDE с одинаковыми ключами шифрования.
HIVE-18352: введите параметр METADATAONLY при выполнении REPL DUMP, чтобы разрешить процессы интеграции других инструментов.
HIVE-18353: CompactorMR должен вызвать метод jobclient.close() для активации очистки.
HIVE-18390: IndexOutOfBoundsException при запросе секционированного представления в ColumnPruner.
HIVE-18429: сжатие должно обработать случай при отсутствии выходных данных.
HIVE-18447: JDBC — предоставьте пользователям JDBC возможность передавать сведения о файлах cookie через строку подключения.
HIVE-18460: уплотнитель не передает свойства таблицы средству записи ORC.
HIVE-18467: поддержка целого дампа хранилища и загрузки, а также создание и удаление событий в базе данных (Анишек Агарвал (Anishek Agarwal), редакция Санкар Харипапан (Sankar Hariappan)).
HIVE-18551: векторизация — VectorMapOperator пытается написать слишком много векторных столбцов для Hybrid Grace.
HIVE-18587: вставить событие DML может попытаться вычислить проверка sum в каталогах.
HIVE-18613: продлите JsonSerDe для поддержки типа BINARY.
HIVE-18626: предложение with загрузки REPL не передает конфигурацию задачам.
HIVE-18660: реестр конфигурации платформы не различает разделы и виртуальные столбцы.
HIVE-18754: состояние REPL должно поддерживать предложение with.
HIVE-18754: состояние REPL должно поддерживать предложение with.
HIVE-18788: очистите входные данные в инструкции PreparedStatement в JDBC.
HIVE-18794: предложение with загрузки REPL не передает конфигурацию задачам для таблиц вне раздела.
HIVE-18808: обеспечьте более надежное сжатие при сбое обновления статистических данных.
HIVE-18817: исключение ArrayIndexOutOfBounds во время чтения таблицы ACID.
HIVE-18833: сбой автоматического объединения при выполнении вставки в каталог, как вставки ORC-файла.
HIVE-18879: запретите работу внедренного элемента в UDFXPathUtil при наличии в пути класса файла xercesImpl.jar.
HIVE-18907: создайте утилиту, чтобы исправить проблему индекса ключа ACID в HIVE-18817.

Исправления Apache Hive 2.1.0:

HIVE-14013: в таблице с описанием неправильно отображается Юникод.
HIVE-14205: Hive не поддерживает тип объединения с файлом формата AVRO.
HIVE-15563: проигнорируйте исключение перехода состояния недопустимой операции в запросе SQLOperation.runQuery, чтобы предоставить реальное исключение.
HIVE-15680: неправильные результаты в режиме MR, когда hive.optimize.index.filter=true и в запросе дважды содержится ссылка на одну таблицу ORC.
HIVE-15883: сопоставленная таблица HBase в Hive INSERT не подходит для десятичного числа.
HIVE-16757: удалите вызовы нерекомендуемых строк AbstractRelNode.getRows.
HIVE-16828: с включенной оптимизацией с учетом затрат запрос в секционированных представлениях вызывает исключение IndexOutOfBoundException.
HIVE-17063: вставка раздела перезаписи во внешнюю таблицу завершается сбоем, если в первую очередь выполняется перетаскивание раздела.
HIVE-17259: Hive JDBC не распознает столбцы UNIONTYPE.
HIVE-17530: ClassCastException при преобразовании uniontype.
HIVE-17600: обеспечьте пользователям возможность настроить размер enforceBufferSize ORC-файла.
HIVE-17601: оптимизируйте обработку ошибок в LlapServiceDriver.
HIVE-17613: удалите пулы объекта для коротких распределений с одним потоком.
HIVE-17617: свертывание пустого экземпляра ResultSet должно включать группирование пустого набора.
HIVE-17621: параметры Hive-site игнорируются во время вычисления разделения HCatInputFormat.
HIVE-17629: CachedStore: имеет утвержденную или не утвержденную конфигурацию, чтобы разрешить выборочное кэширование таблиц и секций и разрешить чтение во время предварительного потепления.
HIVE-17636: добавьте тест multiple_agg.q.blobstores
HIVE-17702: неправильная обработка isRepeating в средстве чтения десятичных чисел в ORC.
HIVE-17729: добавьте базу данных и объясните связанные проверки в хранилище BLOB-объектов.
HIVE-17731: добавьте обратный compat вариант для внешних пользователей в HIVE-11985.
HIVE-17803: при использовании множественного запроса Pig записи 2-х HCatStorers в одну таблицу будут удалять выходные данные друг друга.
HIVE-17845: вставка завершается сбоем, если для столбцов целевой таблицы используется верхний регистр.
HIVE-17900: проанализируйте статистические данные в столбцах. Если они активированы с помощью уплотнителя, будет создан SQL неправильного формата с более чем 1 столбцом раздела.
HIVE-18006: оптимизируйте объем памяти HLLDenseRegister.
HIVE-18026: оптимизация основной конфигурации Hive WebHCat.
HIVE-18031: включите поддержку репликации для операции изменения базы данных.
HIVE-18090: сбой пульса ACID при подключении хранилища метаданных через учетные данные Hadoop.
HIVE-18189: порядок по позиции не работает при cbo отключении.
HIVE-18258: векторизация — Reduce-Side GROUP BY MERGEPARTIAL с двойными столбцами неработоспособна.
HIVE-18269: LLAP: быстрое llap выполнение операций ввода-вывода с конвейером медленной обработки может привести к OOM.
HIVE-18293: Hive не может сжимать таблицы, содержащиеся в папке, которая не принадлежит удостоверению, обеспечивающему работу хранилища HiveMetaStore.
HIVE-18318: устройство чтения записей LLAP должно проверять события прерывания, даже если оно не блокируется.
HIVE-18326: планировщик LLAP Tez только для преждевременного использования заданий при наличии между ними зависимости.
HIVE-18327: удалите ненужную зависимость HiveConf для MiniHiveKdc.
HIVE-18331: добавьте повторное имя для входа при истечении срока действия билета TGT и ведение журналов и лямбду.
HIVE-18341: добавьте поддержку загрузки REPL для добавления необработанного пространства имени для TDE с одинаковыми ключами шифрования.
HIVE-18352: введите параметр METADATAONLY при выполнении REPL DUMP, чтобы разрешить процессы интеграции других инструментов.
HIVE-18353: CompactorMR должен вызвать метод jobclient.close() для активации очистки.
HIVE-18384: ConcurrentModificationException в log4j2.x библиотеке.
HIVE-18390: IndexOutOfBoundsException при запросе секционированного представления в ColumnPruner.
HIVE-18447: JDBC — предоставьте пользователям JDBC возможность передавать сведения о файлах cookie через строку подключения.
HIVE-18460: уплотнитель не передает свойства таблицы средству записи ORC.
HIVE-18462: (объяснение форматирования для запросов с соединением сопоставления с columnExprMap, которое включает неформатированное имя столбца).
HIVE-18467: поддержка целого дампа хранилища и загрузки, а также создание и удаление событий в базе данных.
HIVE-18488: у средств чтения LLAP ORC отсутствуют некоторые проверки значений NULL.
HIVE-18490: запрос с инструкциями EXISTS и NOT EXISTS с неэквивалентным предикатом может привести к неправильному результату.
HIVE-18506: формат LlapBaseInputFormat — отрицательный индекс массива.
HIVE-18517: векторизация — исправьте VectorMapOperator для приема VRB и проверьте правильное расположение векторизованного флага для поддержки кэширования LLAP.
HIVE-18523: исправьте строку сводки в случае отсутствия входных данных.
HIVE-18528: объединенные статистические данные в ObjectStore получили неправильный результат.
HIVE-18530: репликация должна пропустить таблицу MM (на этом этапе).
HIVE-18548: исправление log4j импорта.
HIVE-18551: векторизация — VectorMapOperator пытается написать слишком много векторных столбцов для Hybrid Grace.
HIVE-18577: у SemanticAnalyzer.validate есть некоторые нецелесообразные вызовы хранилища метаданных.
HIVE-18587: вставить событие DML может попытаться вычислить проверка sum в каталогах.
HIVE-18597: LLAP: всегда упаковывал log4j2 JAR-файл API для org.apache.log4j.
HIVE-18613: продлите JsonSerDe для поддержки типа BINARY.
HIVE-18626: предложение with загрузки REPL не передает конфигурацию задачам.
HIVE-18643: не выполняйте проверку архивных разделов для операций ACID.
HIVE-18660: реестр конфигурации платформы не различает разделы и виртуальные столбцы.
HIVE-18754: состояние REPL должно поддерживать предложение with.
HIVE-18788: очистите входные данные в инструкции PreparedStatement в JDBC.
HIVE-18794: предложение with загрузки REPL не передает конфигурацию задачам для таблиц вне раздела.
HIVE-18808: обеспечьте более надежное сжатие при сбое обновления статистических данных.
HIVE-18815: удалите неиспользуемую функцию в HPL и SQL.
HIVE-18817: исключение ArrayIndexOutOfBounds во время чтения таблицы ACID.
HIVE-18833: сбой автоматического объединения при выполнении вставки в каталог, как вставки ORC-файла.
HIVE-18879: запретите работу внедренного элемента в UDFXPathUtil при наличии в пути класса файла xercesImpl.jar.
HIVE-18944: во время DPP неправильно задано позицию наборов группирования.

Kafka

В этом выпуске содержится Kafka 1.0.0 и следующие исправления Apache.

KAFKA-4827: подключение Kafka — ошибка со специальными знаками в имени соединителя.
KAFKA-6118: самоустраняющийся отказ в учетных данных kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials.
KAFKA-6156: JmxReporter не может обрабатывать пути каталога в стиле Windows.
KAFKA-6164: потоки ClientQuotaManager предотвращают выключение при возникновении журналов загрузки ошибок.
KAFKA-6167: метка времени в каталоге потоков содержит двоеточие, которое является недопустимым символом.
KAFKA-6179: метод RecordQueue.clear() не очищает поддерживаемый список MinTimestampTracker.
KAFKA-6185: утечка памяти селектора с высокой вероятностью OOM при уменьшении преобразования.
KAFKA-6190: GlobalKTable никогда не завершает восстановление при потреблении транзактных сообщений.
KAFKA-6210: исключение IllegalArgumentException, если версия 1.0.0 используется для inter.broker.protocol.version или log.message.format.version.
KAFKA-6214: использование резервных реплик в хранилище состояний памяти приводит к сбою потоков.
KAFKA-6215: сбой KafkaStreamsTest в магистрали.
KAFKA-6238: проблемы с версией протокола при применении последовательного обновления до версии 1.0.0.
KAFKA-6260: AbstractCoordinator нечетко обрабатывает исключение NULL.
KAFKA-6261: ведение журнала запроса вызывает исключение, если acks=0.
KAFKA-6274: улучшение KTable автоматически созданных имен хранилища состояний источника.

Mahout

В HDP версий 2.3.x и 2.4.x вместо доставки определенного выпуска Apache Mahout была выполнена синхронизация с конкретной точкой редакции в магистрали Apache Mahout. Эта точка редакции следует после выпуска 0.9.0, но не превышает выпуск 0.10.0. Это обеспечивает большое количество исправлений ошибок и функциональных улучшений по сравнению с версией 0.9.0, но включает стабильную версию функций Mahout и уступает полному преобразованию в новом Mahout на основе Spark в версии 0.10.0.

В GitHub точка редакции, выбранная для Mahout в HDP версий 2.3.x и 2.4.x, относится к ветви "mahout-0.10.x" Apache Mahout по состоянию на 19 декабря 2014 года, редакция 0f037cb03e77c096.

В HDP версий 2.5.x и 2.6.x мы удалили библиотеку "commons-httpclient" из Mahout, потому что рассматриваем ее как устаревшую с возможными проблемами безопасности. Мы обновили клиент Hadoop-Client в Mahout до версии 2.7.3, той же версии, используемой в HDP версии 2.5. В результате:

Ранее скомпилированные задания Mahout необходимо повторно компилировать в среде HDP-2.5 или 2.6.
Существует небольшая вероятность того, что некоторые задания Mahout могут столкнуться с ошибками ClassNotFoundException или "не удалось загрузить класс", связанных с префиксом "org.apache.commons.httpclient", "net.java.dev.jets3t" или соответствующими префиксами имени класса. Если эти ошибки возникают, вы можете рассмотреть, следует ли вручную устанавливать необходимые JAR-файлы в пути к заданию, если риск проблем безопасности в устаревшей библиотеке является приемлемым в вашей среде.
Существует еще меньшая вероятность того, что некоторые задания Mahout могут столкнуться сбоями в вызовах кода hbase-client Mahout к библиотекам hadoop-common, из-за проблем с совместимостью двоичных файлов. К сожалению, нет способа устранить эту проблему, кроме отменить изменения в HDP-2.4.2 версии Mahout, которая может иметь проблемы с безопасностью. Опять же, это случается редко и вряд ли произойдет в любом доступном наборе заданий Mahout.

Oozie,

В этом выпуске содержится Oozie 4.2.0 и следующие исправления Apache.

OOZIE-2571: добавьте свойство Maven spark.scala.binary.version, чтобы можно было использовать Scala 2.11.
OOZIE-2606: установите spark.yarn.jars, чтобы исправить Spark 2.0 с помощью Oozie.
OOZIE-2658: driver-class-path может перезаписать путь класса в SparkMain.
OOZIE-2787: Oozie распространяет JAR-файл приложения дважды, что приводит к сбою задания Spark.
OOZIE-2792: Hive2 действие не анализирует идентификатор приложения Spark из файла журнала правильно, когда Hive находится в Spark.
OOZIE-2799: настройка местоположения журнала для Spark SQL в Hive.
OOZIE-2802: сбой действия Spark в Spark 2.1.0 из-за дублирования sharelibs.
OOZIE-2923: оптимизируйте синтаксический анализ параметров Spark.
OOZIE-3109: SCA — отражены межсайтовые скрипты.
OOZIE-3139: Oozie неправильно проверяет рабочий процесс.
OOZIE-3167: обновите версию Tomcat в ветви Oozie 4.3.

Phoenix

В этом выпуске содержится Phoenix 4.7.0 и следующие исправления Apache.

PHOENIX-1751: выполняйте агрегацию, сортировку и т. д. в preScannerNext, а не postScannerOpen.
PHOENIX-2714: исправьте оценку байтов в BaseResultIterators и предоставьте как интерфейс.
PHOENIX-2724: запрос с большим количеством направляющих выполняется медленнее по сравнению с отсутствием статистики.
PHOENIX-2855: Workaround Increment TimeRange не сериализуется для HBase 1.2.
PHOENIX-3023: низкая производительность при параллельном выполнении запросов ограничения по умолчанию.
PHOENIX-3040: не используйте направляющие для выполнения запросов поочередно.
PHOENIX-3112: сканирование частично выполненной строки обрабатывается неправильно.
PHOENIX 3240: исключение ClassCastException из загрузчика Pig.
PHOENIX-3452: NULLS FIRST/NULL LAST не должно влиять на сохранение порядка GROUP BY.
PHOENIX-3469: неверный порядок сортировки для первичного ключа DESC для NULLS LAST и NULLS FIRST.
PHOENIX-3789: выполните вызовы обслуживания межрегионального индекса в postBatchMutateIndispensably.
PHOENIX-3865: IS NULL не возвращает правильные результаты, если первое семейство столбцов не фильтруется.
PHOENIX-4290: полное сканирование таблицы, выполненное для DELETE с таблицей, содержащей неизменяемые индексы.
PHOENIX-4373: ключ длины переменной локального индекса может включать завершающие нули при восстановлении.
PHOENIX-4466: исключение java.lang.RuntimeException — код отклика 500 — выполнение задания Spark для подключения к серверу запросов Phoenix и загрузки данных.
PHOENIX-4489: утечка HBase Connection в заданиях MR Phoenix.
PHOENIX-4525: переполнение целого числа в выполнении GroupBy.
PHOENIX-4560: ORDER BY с GROUP BY не работает, если в столбце есть WHERE pk .
PHOENIX-4586: UPSERT SELECT не принимает операторы сравнения учетных записей для подзапросов.
PHOENIX-4588: также выражение клона, если дочерние элементы включают вызов Determinism.PER_INVOCATION.

Pig,

В этом выпуске содержится Pig 0.16.0 и следующие исправления Apache.

PIG-5159: исправление Pig не сохраняет историю grunt.
PIG-5175: обновление jruby до версии 1.7.26.

Ranger

В этом выпуске содержится Ranger 0.7.0 и следующие исправления Apache.

RANGER-1805: улучшение кода для отслеживания лучших методик в JS.
RANGER-1960: для операции удаления учитывайте имя таблицы моментального снимка.
RANGER-1982: исправление ошибок для метрики аналитики администратора и сервера управления ключами Ranger.
RANGER-1984: записи журнала аудита HBase могут не отображать все теги, связанные с доступом к столбцу.
RANGER-1988: исправьте небезопасную случайность.
RANGER-1990: добавьте одностороннюю поддержку MySQL SSL для администратора Ranger.
RANGER-2006: устранение проблем, обнаруженных статическим анализом кода в ranger usersync для ldap источника синхронизации.
RANGER-2008: оценка политики не соответствует ее многолинейным условиям.

Ползунок

В этом выпуске предоставляется Slider 0.92.0 без дополнительных исправлений Apache.

Spark

В этом выпуске содержится Spark 2.3.0 и следующие исправления Apache.

SPARK-13587: включите поддержку virtualenv в PySpark.
SPARK-19964: избегайте чтения из удаленного репозитория в SparkSubmitSuite.
SPARK-22882: тест машинного обучения для структурированной потоковой передачи: ml.classification.
SPARK-22915: тесты потоковой передачи для функции spark.ml.feature от N to Z.
SPARK-23020: исправьте другую ошибку состояния гонки во внутрипроцессной проверке средства запуска.
SPARK-23040: возвращает прерываемый итератор для средства чтения в случайном порядке.
SPARK-23173: не создавайте поврежденные файлы Parquet при загрузке данных из JSON.
SPARK-23264: исправьте Scala. MatchError в literals.sql.out.
SPARK-23288: исправьте выходные показатели с помощью приемника Parquet.
SPARK-23329: исправьте документацию о тригонометрических функциях.
SPARK-23406: включите самосоединение потоков для ветви branch-2.3.
SPARK-23434: Spark не должен предупреждать "каталог метаданных" для пути к файлу HDFS.
SPARK-23436: внесите раздел как "Только дата", только если он соответствует значению "По (дата)".
SPARK-23457: сначала зарегистрируйте слушателей завершения задачи в ParquetFileFormat.
SPARK-23462: оптимизируйте сообщение об ошибке в отсутствующем поле "StructType".
SPARK-23490: проверьте storage.locationUri с помощью имеющейся таблицы в CreateTable.
SPARK-23524: большие локальные блоки перетасовки не должны быть проверка для повреждения.
SPARK-23525: включите поддержку ALTER TABLE CHANGE COLUMN COMMENT для внешней таблицы Hive.
SPARK-23553: тесты не должны предполагать значение по умолчанию "spark.sql.sources.default".
SPARK-23569: разрешите pandas_udf работать с функциями аннотированного типа стиля python3.
SPARK-23570: добавьте Spark 2.3.0 в HiveExternalCatalogVersionsSuite.
SPARK-23598: сделайте методы в BufferedRowIterator общедоступными, чтобы избежать ошибки времени выполнения для большого запроса.
SPARK-23599: добавьте генератор UUID из псевдослучайных чисел.
SPARK-23599: используйте RandomUUIDGenerator в выражении Uuid.
SPARK-23601: удаление .md5 файлов из выпуска.
SPARK-23608: добавьте синхронизацию в SHS между функциями attachSparkUI и detachSparkUI, чтобы избежать проблемы параллельной модификации в обработчиках Jetty.
SPARK-23614: исправьте неправильный обмен повторного использования при использовании кэширования.
SPARK-23623: избегайте параллельного использования кэшированных потребителей в CachedKafkaConsumer (ветвь branch-2.3).
SPARK-23624: пересмотрите документ pushFilters метода в Datasource V2.
SPARK-23628: calculateParamLength не должен возвращать 1 + число выражений.
SPARK-23630: разрешите активацию настроек конфигурации Hadoop пользователя.
SPARK-23635: переменная среды исполнителя Spark перезаписывается переменной среды антивредоносной программы с тем же именем.
SPARK-23637: Yarn может выделять больше ресурсов, если один и тот же исполнитель выходит из строя несколько раз.
SPARK-23639: получите маркер перед клиентом хранилища метаданных инициализации в CLI SparkSQL.
SPARK-23642: подкласс AccumulatorV2 isZero scaladoc .
SPARK-23644: используйте абсолютный путь для вызова REST в SHS.
SPARK-23645: добавьте документацию RE "pandas_udf" с аргументами ключевого слова.
SPARK-23649: пропуск символов, запрещенных в UTF-8.
SPARK-23658: InProcessAppHandle использует неправильный класс в getLogger.
SPARK-23660: исправьте исключение в режиме кластера YARN, если приложение быстро завершает работу.
SPARK-23670: исправьте проблему утечки памяти в SparkPlanGraphWrapper.
SPARK-23671: исправьте условие, чтобы включить пул потоков SHS.
SPARK-23691: используйте утилиту sql_conf в тестах PySpark, где это возможно.
SPARK-23695: исправьте сообщение об ошибке для тестов потоковой передачи Kinesis.
SPARK-23706: spark.conf.get(value, default=None) должно формировать значение None в PySpark.
SPARK-23728: исправьте тесты машинного обучения с ожидаемыми исключениями, которые запускают потоковые тесты.
SPARK-23729: учитывайте фрагмент универсального кода ресурса (URI) при разрешении проблем пакетов glob.
SPARK-23759: не удалось связать пользовательский интерфейс Spark с конкретным именем узла или IP-адреса.
SPARK-23760: CodegenContext.withSubExprEliminationExprs должен правильно сохранять и восстанавливать состояние CSE.
SPARK-23769: удалите комментарии, которые не нужно отключать Scalastyle проверка.
SPARK-23788: исправьте ошибку состояния гонки в StreamingQuerySuite.
SPARK-23802: PropagateEmptyRelation может оставить план запроса в неразрешенном состоянии.
SPARK-23806: Broadcast.unpersist может вызвать фатальное исключение при использовании с динамическим распределением.
SPARK-23808: установите сеанс Spark по умолчанию в сеансах Spark только для тестирования.
SPARK-23809: активный сеанс SparkSession должен устанавливаться getOrCreate.
SPARK-23816: завешенные задачи должны игнорировать FetchFailures.
SPARK-23822: оптимизируйте сообщение об ошибке для несоответствий схемы Parquet.
SPARK-23823: придерживайтесь исходной формы в transformExpression.
SPARK-23827: выполнение StreamingJoinExec должно обеспечивать разделение входных данных на определенное количество разделов.
SPARK-23838: на вкладке SQL запуск SQL-запроса отображается как "завершен".
SPARK-23881: исправьте нестабильное тестирование JobCancellationSuite — прерываемый итератор для средства чтения в случайном порядке.

Sqoop

В этом выпуске предоставляется Sqoop 1.4.6 без дополнительных исправлений Apache.

Storm

В этом выпуске содержатся сведения о Storm 1.1.1 и следующие исправления Apache.

STORM-2652: исключение, вызванное в открытом методе JmsSpout.
STORM-2841: сбой UT testNoAcksIfFlushFails с исключением NullPointerException.
STORM-2854: предоставьте IEventLogger возможность включать журнал событий.
STORM-2870: FileBasedEventLogger организовывает утечку ExecutorService, не связанной с управляющей программой, что мешает завершению процесса.
STORM-2960: лучше подчеркнуть важность задания надлежащей учетной записи ОС для процессов Storm.

Tez

В этом выпуске содержатся сведения о Tez 0.7.0 и следующие исправления Apache.

TEZ-1526: LoadingCache для TezTaskID замедляется для больших заданий.

Zeppelin

В этом выпуске предоставляется Zeppelin 0.7.3 без дополнительных исправлений Apache.

ZEPPELIN-3072: пользовательский интерфейс Zeppelin медленно работает или не отвечает при большом количестве записных книжек.
ZEPPELIN-3129: пользовательский интерфейс Zeppelin не выходит в IE.
ZEPPELIN-903: замените CXF Jersey2на .

ZooKeeper

В этом выпуске содержатся сведения о ZooKeeper 3.4.6 и следующие исправления Apache.

ZOOKEEPER-1256: ошибка ClientPortBindTest в macOS X.
ZOOKEEPER-1901: [JDK8] — сортируйте дочерние элементы для сравнения в тестах AsyncOps.
ZOOKEEPER-2423: обновите версию Netty из-за уязвимости безопасности (CVE-2014-3488).
ZOOKEEPER-2693: атака типа "отказ в обслуживании" для слов, состоящих из четырех знаков (4lw).
ZOOKEEPER-2726: Patch представляет потенциальное состояние гонки.

Исправлены проблемы, связанные с распространенными уязвимостями и рисками

В этом разделе описываются все общие уязвимости и риски (CVE), которые рассматриваются в этом выпуске.

CVE-2017-7676

Сводка: оценка политики Apache Ranger игнорирует знаки после подстановочного знака "*"
Уровень серьезности: критический
Поставщик: Hortonworks
Затронутые версии: версии HDInsight 3.6, включая Apache Ranger версий 0.5.x/0.6.x/0.7.0.
Затронутые пользователи: среды, использующие политики Ranger со знаками после подстановочного знака "" — например mytest, test*.txt
Влияние: сопоставитель ресурса политики игнорирует знаки после подстановочного знака "*", что может привести к непреднамеренной реакции.
Сведения об исправлении: сопоставитель ресурса политики Ranger был обновлен для правильной обработки совпадений подстановочных знаков.
Рекомендуемое действие: обновите HDI до версии 3.6 (с Apache Ranger 0.7.1+).

CVE-2017-7677

Сводка: Инициатор авторизации Apache Ranger Hive должен проверить разрешение RWX, когда указано внешнее местоположение
Уровень серьезности: критический
Поставщик: Hortonworks
Затронутые версии: версии HDInsight 3.6, включая Apache Ranger версий 0.5.x/0.6.x/0.7.0.
Затронутые пользователи: среды, которые используют внешнее местоположение для таблиц Hive.
Влияние: в средах, которые используют внешнее местоположение для таблиц Hive, инициатор авторизации Apache Ranger Hive должен проверить разрешение RWX для внешнего местоположения, указанного для таблицы create.
Сведения об исправлении: инициатор авторизации Ranger Hive был обновлен для правильной обработки проверки разрешения для внешнего местоположения.
Рекомендуемое действие: пользователи должны обновить HDI до версии 3.6 (с Apache Ranger 0.7.1+).

CVE-2017-9799

Сводка: потенциальное выполнение кода как неправильного пользователя в Apache Storm
Уровень серьезности: важно
Поставщик: Hortonworks
Затронутые версии: HDP 2.4.0, HDP-2.5.0, HDP-2.6.0
Затронутые пользователи: пользователи, которые используют Storm в безопасном режиме и хранилище BLOB-объектов для распространения артефактов на основе топологии, или используют хранилище BLOB-объектов для распространения любых ресурсов топологии.
Влияние: в некоторых ситуациях и конфигурациях storm теоретически возможно для владельца топологии, чтобы обмануть руководителя запустить рабочую роль в качестве другого, не корневого пользователя. В худшем случае это может привести к тому, что учетные данные другого пользователя будут скомпрометированы. Эта уязвимость касается только установок Apache Storm с включенной защитой.
Устранение рисков: обновите HDP до версии 2.6.2.1, так как в настоящее время обходных путей нет.

CVE-2016-4970

Сводка: обработчик/ssl/OpenSslEngine.java в Netty 4.0.x до 4.0.37. Финал и 4.1.x до 4.1.1. Финал позволяет удаленным злоумышленникам вызвать отказ в обслуживании (бесконечный цикл)
Уровень серьезности: средний
Поставщик: Hortonworks
Затронутые версии: HDP 2.x.x с версии 2.3.x
Затронутые пользователи: все пользователи, использующие HDFS.
Влияние: влияние недостаточное, поскольку Hortonworks не использует OpenSslEngine.java непосредственно в базе кодов Hadoop.
Рекомендуемое действие: обновите HDP до версии 2.6.3.

CVE-2016-8746

Сводка: проблема соответствия пути Apache Ranger в оценке политики
Уровень серьезности: обычный
Поставщик: Hortonworks
Затронутые версии: все версии HDP 2.5, включая версии Apache Ranger 0.6.0/0.6.1/0.6.2
Затронутые пользователи: все пользователи средства администрирования политики Ranger.
Влияние: механизм политики Ranger неправильно сопоставляет пути в определенных условиях, когда политика содержит подстановочные знаки и рекурсивные флаги.
Сведения об исправлении: исправленная логика оценки политики
Рекомендуемое действие: пользователи должны обновить HDI до версии 2.5.4+ (с Apache Ranger 0.6.3+) или 2.6+ (с Apache Ranger 0.7.0+)

CVE-2016-8751

Сводка: у Apache Ranger есть проблема межсайтового написания скриптов
Уровень серьезности: обычный
Поставщик: Hortonworks
Затронутые версии: все версии HDP 2.3/2.4/2.5, включая Apache Ranger версий 0.5.x/0.6.0/0.6.1/0.6.2.
Затронутые пользователи: все пользователи средства администрирования политики Ranger.
Влияние: Apache Ranger уязвим для хранимых межсайтовых скриптов при вводе пользовательских условий политики. Администраторы могут хранить выполнение произвольного кода JavaScript при входе обычных пользователей и их доступе к политикам.
Сведения об исправлении: добавлена логика для очистки входных данных пользователя.
Рекомендуемое действие: пользователи должны обновить HDI до версии 2.5.4+ (с Apache Ranger 0.6.3+) или 2.6+ (с Apache Ranger 0.7.0+)

Исправленные проблемы для поддержки

Исправленные ошибки представляют собой выбранные проблемы, которые ранее были зарегистрированы в Hortonworks Support, но теперь рассматриваются в текущем выпуске. Эти проблемы могут быть сообщены в предыдущих версиях в разделе "Известные проблемы"; означает, что они были сообщены клиентами или идентифицированы командой Hortonworks Quality Engineering.

Неверные результаты

Идентификатор ошибки	Apache JIRA	Сводка
BUG-100019	YARN-8145	yarn rmadmin -getGroups не возвращает обновленные группы для пользователя
BUG-100058	PHOENIX-2645	Подстановочные знаки не соответствуют знакам новой строки
BUG-100266	PHOENIX-3521, PHOENIX-4190	Результаты не соответствуют локальным индексам
BUG-88774	HIVE-17617, HIVE-18413, HIVE-18523	Сбой query36, несоответствие числа строк
BUG-89765	HIVE-17702	Неправильная обработка isRepeating в средстве чтения десятичных чисел в ORC
BUG-92293	HADOOP-15042	Azure PageBlobInputStream.skip() может возвращать отрицательное значение, когда число numberOfPagesRemaining равно 0.
BUG-92345	ATLAS-2285	Пользовательский интерфейс: переименован сохраненный поиск с атрибутом даты.
BUG-92563	HIVE-17495, HIVE-18528	Объединенные статистические данные в ObjectStore получили неправильный результат
BUG-92957	HIVE-11266	Неправильный результат count(*), основанный на статистике таблицы для внешних таблиц
BUG-93097	RANGER-1944	Не работает фильтр действий для аудита администратора
BUG-93335	HIVE-12315	vectorization_short_regress.q содержит неправильный результат для двойного вычисления
BUG-93415	HIVE-18258, HIVE-18310	Векторизация — Reduce-Side GROUP BY MERGEPARTIAL с двойными столбцами неработоспособна
BUG-93939	ATLAS-2294	При создании типа добавлен дополнительный параметр "описание"
BUG-94007	PHOENIX-1751, PHOENIX-3112	Запросы Phoenix возвращают значения NULL из-за частично выполненных строк HBase
BUG-94266	HIVE-12505	Вставка перезаписи в одной зашифрованной зоне по умолчанию завершается сбоем, чтобы удалить некоторые имеющиеся файлы
BUG-94414	HIVE-15680	Неправильные результаты, когда hive.optimize.index.filter=true и в запросе дважды содержится ссылка на одну таблицу ORC
BUG-95048	HIVE-18490	Запрос с инструкциями EXISTS и NOT EXISTS с неэквивалентным предикатом может привести к неправильному результату
BUG-95053	PHOENIX-3865	IS NULL не возвращает правильные результаты, если первое семейство столбцов не фильтруется
BUG-95476	RANGER-1966	В некоторых случаях инициализация механизма политики не создает контекстных обогатителей
BUG-95566	SPARK-23281	Запрос генерирует результаты в неправильном порядке, когда составной порядок по предложению ссылается на исходные столбцы и псевдонимы
BUG-95907	PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560	Исправление проблем с ORDER BY ASC, если запрос включает агрегирование
BUG-96389	PHOENIX-4586	UPSERT SELECT не принимает операторы сравнения учетных записей для подзапросов
BUG-96602	HIVE-18660	Реестр конфигурации платформы не различает разделы и виртуальные столбцы
BUG-97686	ATLAS-2468	[Basic Search] Проблема с примерами OR, когда NEQ используется с числовыми типами
BUG-97708	HIVE-18817	Исключение ArrayIndexOutOfBounds во время чтения таблицы ACID
BUG-97864	HIVE-18833	Сбой автоматического объединения при выполнении вставки в каталог как вставки ORC-файла
BUG-97889	RANGER-2008	Оценка политики не соответствует ее многолинейным условиям
BUG-98655	RANGER-2066	Доступ к семейству столбцов Hbase разрешен с помощью помеченного столбца в семействе столбцов
BUG-99883	HIVE-19073, HIVE-19145	StatsOptimizer может привести к константным столбцам

Другое

Идентификатор ошибки	Apache JIRA	Сводка
BUG-100267	HBASE-17170	HBase также повторяет исключение DoNotRetryIOException из-за различий в загрузчиках классов.
BUG-92367	YARN-7558	Нельзя выполнить команду журналов Yarn, чтобы получить журналы для запуска контейнеров при включенной проверке подлинности пользовательского интерфейса
BUG-93159	OOZIE-3139	Oozie неправильно проверяет рабочий процесс
BUG-93936	ATLAS-2289	Нужно удалить из реализации KafkaNotification встроенный код start/stop сервера kafka/zookeeper
BUG-93942	ATLAS-2312	Используйте объекты DateFormat ThreadLocal, чтобы избежать одновременного использования из нескольких потоков
BUG-93946	ATLAS-2319	Пользовательский интерфейс: выполните обновление, чтобы удалить тег, который находится ниже 25-й позиции в списках тегов как плоской, так и древовидной структур.
BUG-94618	YARN-5037, YARN-7274	Возможность отключить эластичность на уровне очереди конечного объекта
BUG-94901	HBASE-19285	Добавьте гистограммы задержки для каждой таблицы
BUG-95259	HADOOP-15185, HADOOP-15186	Обновление `adls` соединителя для использования текущей версии пакета SDK ADLS
BUG-95619	HIVE-18551	Векторизация — VectorMapOperator пытается написать слишком много векторных столбцов для Hybrid Grace
BUG-97223	SPARK-23434	Spark не должен предупреждать "каталог метаданных" для пути к файлу HDFS

Производительность

Идентификатор ошибки	Apache JIRA	Сводка
BUG-83282	HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164	Быстрое вычисление местоположения в балансировщике
BUG-91300	HBASE-17387	Уменьшите накладные расходы отчета об исключении в RegionActionResult для multi()
BUG-91804	TEZ-1526	LoadingCache для TezTaskID замедляется для больших заданий
BUG-92760	ACCUMULO-4578	Отмена операции FATE для сжатия не приводит к снятию блокировки пространства имен
BUG-93577	RANGER-1938	Solr для настройки аудита неэффективно использует значения DocValues
BUG-93910	HIVE-18293	Hive не может сжимать таблицы, содержащиеся в папке, которая не принадлежит удостоверению, обеспечивающему работу хранилища HiveMetaStore
BUG-94345	HIVE-18429	Сжатие должно обработать пример при отсутствии выходных данных
BUG-94381	HADOOP-13227, HDFS-13054	Обработка порядка повторной попытки RequestHedgingProxyProvider: FAIL < RETRY < FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	CompactorMR должен вызвать метод jobclient.close() для активации очистки
BUG-94869	PHOENIX-4290, PHOENIX-4373	Запрошенная строка вне диапазона для get `HRegion` on для локальной индексированного засоленной таблицы phoenix.
BUG-94928	HDFS-11078	Исправьте NPE в LazyPersistFileScrubber
BUG-94964	HIVE-18269, HIVE-18318, HIVE-18326	Несколько исправлений LLAP
BUG-95669	HIVE-18577, HIVE-18643	При выполнении запроса обновления и удаления в секционированных таблицах ACID HS2 считывает все разделы.
BUG-96390	HDFS-10453	Поток ReplicationMonitor может быть застрял в течение длительного времени из-за гонки между реплика и удалением одного и того же файла в большом кластере.
BUG-96625	HIVE-16110	Отмена изменения "Векторизация: включение поддержки CASE WHEN с двумя значениями вместо возврата к VectorUDFAdaptor"
BUG-97109	HIVE-16757	Использование устаревшего метода getRows() вместо нового estimateRowCount(RelMetadataQuery...) оказывает серьезное влияние на производительность
BUG-97110	PHOENIX-3789	Выполните вызовы обслуживания межрегионального индекса в postBatchMutateIndispensably
BUG-98833	YARN-6797	TimelineWriter не полностью использует ответ POST
BUG-98931	ATLAS-2491	Обновите обработчик Hive для использования уведомлений Atlas v2

Потенциальная потеря данных

Идентификатор ошибки	Apache JIRA	Сводка
BUG-95613	HBASE-18808	Неэффективная проверка конфигурации в BackupLogCleaner#getDeletableFiles()
BUG-97051	HIVE-17403	Сбой объединения для неуправляемых и транзакционных таблиц
BUG-97787	HIVE-18460	Уплотнитель не передает свойства таблицы средству записи ORC
BUG-97788	HIVE-18613	Продлите JsonSerDe для поддержки типа BINARY

Сбой запроса

Идентификатор ошибки	Apache JIRA	Сводка
BUG-100180	CALCITE-2232	Ошибка утверждения в AggregatePullUpConstantsRule при настройке агрегированных индексов
BUG-100422	HIVE-19085	FastHiveDecimal abs(0) задает знак `+ve`
BUG-100834	PHOENIX-4658	IllegalStateException: requestSeek не может вызываться в ReversedKeyValueHeap
BUG-102078	HIVE-17978	Запросы TPCDS 58 и 83 создают исключения в векторизации
BUG-92483	HIVE-17900	Проанализируйте статистические данные в столбцах. Если они активированы с помощью уплотнителя, будет создан SQL неправильного формата с более чем 1 столбцом раздела
BUG-93135	HIVE-15874, HIVE-18189	Запрос Hive возвращает неправильные результаты, если для псевдонима hive.groupby.orderby.position.alias установлено значение true
BUG-93136	HIVE-18189	Порядок по позиции не работает при `cbo` отключении
BUG-93595	HIVE-12378, HIVE-15883	Сопоставленная таблица HBase в Hive INSERT не подходит для десятичных и двоичных столбцов
BUG-94007	PHOENIX-1751, PHOENIX-3112	Запросы Phoenix возвращают значения NULL из-за частично выполненных строк HBase
BUG-94144	HIVE-17063	Вставка секции перезаписи во внешнюю таблицу завершается ошибкой при первом удалении секции
BUG-94280	HIVE-12785	С помощью типа объединения и определяемой пользователем функции просмотрите неработоспособность структуры
BUG-94505	PHOENIX-4525	Переполнение целого числа в выполнении GroupBy
BUG-95618	HIVE-18506	Формат LlapBaseInputFormat — отрицательный индекс массива
BUG-95644	HIVE-9152	Формат CombineHiveInputFormat: сбой запроса Hive в Tez с исключением java.lang.IllegalArgumentException
BUG-96762	PHOENIX-4588	Также выражение клона, если дочерние элементы включают вызов Determinism.PER_INVOCATION
BUG-97145	HIVE-12245, HIVE-17829	Включите поддержку комментариев в столбце для архивной таблицы HBase
BUG-97741	HIVE-18944	Позиция группирования наборов задана неправильно во время DPP
BUG-98082	HIVE-18597	LLAP: всегда упаковывал `log4j2` JAR-файл API для `org.apache.log4j`
BUG-99849	Н/П	При создании таблицы из файла мастер попытается использовать базу данных по умолчанию

Безопасность

Идентификатор ошибки	Apache JIRA	Сводка
BUG-100436	RANGER-2060	`Knox` прокси-сервер `knox-sso` не работает для ranger
BUG-101038	SPARK-24062	Ошибка интерпретатора %Spark Zeppelin "В подключении отказано". Ошибка в HiveThriftServer "Необходимо указать секретный ключ..."
BUG-101359	ACCUMULO-4056	Обновите общедоступную коллекцию до версии 3.2.2 при выпуске
BUG-54240	HIVE-18879	Запретите работу внедренного элемента в UDFXPathUtil при наличии в пути класса файла xercesImpl.jar
BUG-79059	OOZIE-3109	Не используйте специальные знаки HTML потоковой передачи журнала
BUG-90041	OOZIE-2723	Лицензией JSON.org теперь является CatX
BUG-93754	RANGER-1943	Авторизация Ranger Solr пропускается, если коллекция пуста или содержит значение NULL
BUG-93804	HIVE-17419	При выполнении команды ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS отображается вычисленная статистика для маскированных таблиц
BUG-94276	ZEPPELIN-3129	Пользовательский интерфейс Zeppelin не выходит из системы в IE
BUG-95349	ZOOKEEPER-1256, ZOOKEEPER-1901	Обновите netty
BUG-95483	Н/П	Исправление для CVE-2017-15713
BUG-95646	OOZIE-3167	Обновите версию Tomcat в ветви Oozie 4.3
BUG-95823	Н/П	`Knox`:Обновления `Beanutils`
BUG-95908	RANGER-1960	Авторизация HBase не учитывает пространство имен таблицы для удаления моментального снимка
BUG-96191	FALCON-2322, FALCON-2323	Обновите версии Jackson и Spring во избежание возникновения уязвимостей системы безопасности
BUG-96502	RANGER-1990	Добавьте одностороннюю поддержку MySQL SSL для администратора Ranger
BUG-96712	FLUME-3194	Обновите Derby до последней версии (1.14.1.0)
BUG-96713	FLUME-2678	Обновите Xalan до версии 2.7.2 во избежание возникновения уязвимостей CVE-2014-0107
BUG-96714	FLUME-2050	Обновление до `log4j2` (когда общедоступная версия)
BUG-96737	Н/П	Используйте методы файловой системы ввода-вывода Java для доступа к локальным файлам
BUG-96925	Н/П	Обновите в Hadoop Tomcat с версии 6.0.48 до 6.0.53
BUG-96977	FLUME-3132	Обновление зависимостей библиотеки tomcat `jasper`
BUG-97022	HADOOP-14799, HADOOP-14903, HADOOP-15265	Обновление библиотеки Nimbus-JOSE-JWT с версией выше 4.39
BUG-97101	RANGER-1988	Исправьте небезопасную случайность
BUG-97178	ATLAS-2467	Обновление зависимости для Spring и Nimbus-JOSE-JWT
BUG-97180	Н/П	Обновите Nimbus-JOSE-JWT
BUG-98038	HIVE-18788	Очистите входные данные в инструкции PreparedStatement в JDBC
BUG-98353	HADOOP-13707	Вернуться к параметру "Если kerberos включен, пока http SPNEGO не настроено, некоторые ссылки не могут быть доступны".
BUG-98372	HBASE-13848	Получите доступ к паролям SSL InfoServer с помощью API поставщика учетных данных
BUG-98385	ATLAS-2500	Добавление дополнительных заголовков в ответ Atlas.
BUG-98564	HADOOP-14651	Обновите OkHttp до версии 2.7.5
BUG-99440	RANGER-2045	При выполнении команды desc table будут перечислены столбцы таблицы Hive без явной политики разрешения
BUG-99803	Н/П	Oozie должен отключить загрузку динамического класса HBase

Стабильность

Идентификатор ошибки	Apache JIRA	Сводка
BUG-100040	ATLAS-2536	NPE в обработчике Atlas Hive
BUG-100057	HIVE-19251	Уведомление ObjectStore.getNextNotification с LIMIT должно использовать меньше памяти
BUG-100072	HIVE-19130	NPE вызывается при применении события удаления раздела REPL LOAD.
BUG-100073	Н/П	слишком много подключений close_wait с `hiveserver` узла данных
BUG-100319	HIVE-19248	REPL LOAD не вызывает ошибку при сбое копирования файла
BUG-100352	Н/П	CLONE — логика удаления RM слишком часто сканирует Znode реестра
BUG-100427	HIVE-19249	Репликация: предложение WITH не во всех случаях правильно передает конфигурацию в задачу
BUG-100430	HIVE-14483	java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
BUG-100432	HIVE-19219	Инкрементный REPL DUMP должен вызывать ошибку, если запрашиваемые события очищаются.
BUG-100448	SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881	Обновление `Spark2` до версии 2.3.0+ (4/11)
BUG-100740	HIVE-16107	JDBC: клиент HttpClient должен выполнить повторную попытку в исключении NoHttpResponseException
BUG-100810	HIVE-19054	Сбой репликации функций Hive
BUG-100937	MAPREDUCE-6889	Добавьте API-интерфейс Job#close, чтобы завершить работу клиентских служб MR.
BUG-101065	ATLAS-2587	Задайте для чтения ACL для /apache_atlas/active_server_info znode в HA для `Knox` чтения прокси-сервера.
BUG-101093	STORM-2993	Объект Bolt Storm HDFS вызывает исключение ClosedChannelException при использовании политики ротации времени
BUG-101181	Н/П	Обработчик PhoenixStorageHandler неправильно обрабатывает оператор AND в предикате
BUG-101266	PHOENIX-4635	Утечка подключения HBase в формате org.apache.phoenix.hive.mapreduce.PhoenixInputFormat
BUG-101458	HIVE-11464	Сведения о журнале преобразований отсутствуют при наличии нескольких выходных данных
BUG-101485	Н/П	Thrift API хранилища метаданных Hive работает медленно и вызывает истечение времени ожидания клиента
BUG-101628	HIVE-19331	Не удалось выполнить добавочную репликацию Hive в облако
BUG-102048	HIVE-19381	FunctionTask: сбой репликации функции Hive в облако
BUG-102064	Н/П	Сбой тестов репликации `\[ onprem to onprem \]` Hive в ReplCopyTask
BUG-102137	HIVE-19423	Сбой тестов репликации `\[ Onprem to Cloud \]` Hive в ReplCopyTask
BUG-102305	HIVE-19430	Дампы нехватки памяти хранилища метаданных Hive и HS2
BUG-102361	Н/П	Несколько вставок приводят к одному реплика вставке в целевой кластер hive ( `onprem - s3` )
BUG-87624	Н/П	Включение ведения журнала событий Storm постоянно выводит из строя рабочие роли
BUG-88929	HBASE-15615	Неправильное время перехода в спящий режим при необходимости повторной попытки RegionServerCallable
BUG-89628	HIVE-17613	Удалите пулы объекта для коротких распределений с одним потоком
BUG-89813	Н/П	SCA. Правильность кода: несинхронизированный метод переопределяет синхронизированный
BUG-90437	ZEPPELIN-3072	Пользовательский интерфейс Zeppelin медленно работает или не отвечает при большом количестве записных книжек
BUG-90640	HBASE-19065	Метод HRegion#bulkLoadHFiles() должен ожидать завершения параллельного метода Region#flush()
BUG-91202	HIVE-17013	Удалите запрос с вложенным запросом на основе выбора над представлением
BUG-91350	KNOX-1108	Сбой отработки отказа NiFiHaDispatch
BUG-92054	HIVE-13120	При генерации разделов ORC распространите Doas
BUG-92373	FALCON-2314	Активируйте TestNG версии 6.13.1 во избежание зависимости BeanShell
BUG-92381	Н/П	сбой UT testContainerLogsWithNewAPI и testContainerLogsWithOldAPI
BUG-92389	STORM-2841	Сбой UT testNoAcksIfFlushFails с исключением NullPointerException
BUG-92586	SPARK 17920, SPARK 20694, SPARK 21642, SPARK 22162, SPARK 22289, SPARK 22373, SPARK 22495, SPARK 22574, SPARK 22591, SPARK 22595, SPARK 22601, SPARK 22603, SPARK 22607, SPARK 22635, SPARK 22637, SPARK 22653, SPARK 22654, SPARK 22686, SPARK 22688, SPARK 22817, SPARK 22862, SPARK 22889, SPARK 22972, SPARK 22975, SPARK 22982, SPARK 22983, SPARK 22984, SPARK 23001, SPARK 23038, SPARK 23095	Обновление `Spark2` до версии 2.2.1 (январь 16)
BUG-92680	ATLAS-2288	Исключение NoClassDefFoundError при выполнении скрипта Hive импорта при создании таблицы HBase через Hive
BUG-92760	ACCUMULO-4578	Отмена операции FATE для сжатия не приводит к снятию блокировки пространства имен
BUG-92797	HDFS-10267, HDFS-8496	Снижение конфликтов блокировки узла данных в определенных случаях
BUG-92813	FLUME-2973	Взаимоблокировка в приемнике HDFS
BUG-92957	HIVE-11266	Неправильный результат count(*), основанный на статистике таблицы для внешних таблиц
BUG-93018	ATLAS-2310	В режиме высокой доступности пассивный узел перенаправляет запрос с неправильной кодировкой URL-адреса
BUG-93116	RANGER-1957	Синхронизация пользователей Ranger не выполняет периодическую синхронизацию пользователей или групп при включенной добавочной синхронизации.
BUG-93361	HIVE-12360	Некорректный поиск в ORC без сжатия с включением предиката
BUG-93426	CALCITE-2086	HTTP/413 в некоторых случаях из-за больших заголовков авторизации
BUG-93429	PHOENIX-3240	Исключение ClassCastException из загрузчика Pig
BUG-93485	Н/П	не удается получить таблицу mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException: таблица не найдена при выполнении таблицы анализа столбцов в LLAP
BUG-93512	PHOENIX-4466	Исключение java.lang.RuntimeException — код отклика 500 — выполнение задания Spark для подключения к серверу запросов Phoenix и загрузки данных
BUG-93550	Н/П	Zeppelin %spark.r не работает со spark1 из-за несоответствия версии Scala
BUG-93910	HIVE-18293	Hive не может сжимать таблицы, содержащиеся в папке, которая не принадлежит удостоверению, обеспечивающему работу хранилища HiveMetaStore
BUG-93926	ZEPPELIN-3114	Записные книжки и интерпретаторы не сохраняются в Zeppelin после нагрузочного теста, выполнявшегося более одного дня
BUG-93932	ATLAS-2320	Классификация "*" с запросом вызывает исключение внутреннего сервера 500
BUG-93948	YARN-7697	NM выходит из строя с OOM из-за утечки в объединении журналов (часть №1)
BUG-93965	ATLAS-2229	Поиск DSL: атрибут нестроковой последовательности orderby вызывает исключение
BUG-93986	YARN-7697	NM выходит из строя с OOM из-за утечки в объединении журналов (часть №2)
BUG-94030	ATLAS-2332	Сбой создания типа с атрибутами с вложенным типом данных коллекции
BUG-94080	YARN-3742, YARN-6061	Оба RM находятся в режиме ожидания в защищенном кластере
BUG-94081	HIVE-18384	ConcurrentModificationException в `log4j2.x` библиотеке
BUG-94168	Н/П	Yarn RM, вышедший из строя с реестром службы, содержит ошибку неправильного состояния
BUG-94330	HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689	HDFS должна поддерживать несколько `KMS Uris`
BUG-94345	HIVE-18429	Сжатие должно обработать пример при отсутствии выходных данных
BUG-94372	ATLAS-2229	Запрос DSL: hive_table name = ["t1","t2"] вызывает исключение недействительного запроса DSL
BUG-94381	HADOOP-13227, HDFS-13054	Обработка порядка повторной попытки RequestHedgingProxyProvider: FAIL < RETRY < FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	CompactorMR должен вызвать метод jobclient.close() для активации очистки
BUG-94575	SPARK-22587	Задание Spark завершается сбоем, если URL-адреса fs.defaultFS и JAR-файла приложения не совпадают.
BUG-94791	SPARK-22793	Утечка памяти на сервере Thrift Spark
BUG-94928	HDFS-11078	Исправьте NPE в LazyPersistFileScrubber
BUG-95013	HIVE-18488	У средств чтения LLAP ORC отсутствуют некоторые проверки значений NULL
BUG-95077	HIVE-14205	Hive не поддерживает тип объединения с файлом формата AVRO
BUG-95200	HDFS-13061	SaslDataTransferClient#проверка TrustAndSend не должен доверять частично доверенному каналу
BUG-95201	HDFS-13060	Добавление BlacklistBasedTrustedChannelResolver для TrustedChannelResolver
BUG-95284	HBASE-19395	[branch-1] ошибка разделения TestEndToEndSplitTransaction.testMasterOpsWhileSplitting с NPE
BUG-95301	HIVE-18517	Векторизация — исправьте VectorMapOperator для приема VRB и проверьте правильное расположение векторизованного флага для поддержки кэширования LLAP
BUG-95542	HBASE-16135	PeerClusterZnode в rs удаленных одноранговых узлах может никогда не удаляться
BUG-95595	HIVE-15563	Проигнорируйте исключение перехода состояния недопустимой операции в запросе SQLOperation.runQuery, чтобы предоставить реальное исключение
BUG-95596	YARN-4126, YARN-5750	Сбой TestClientRMService
BUG-96019	HIVE-18548	Исправление `log4j` импорта
BUG-96196	HDFS-13120	Инструмент сравнения моментального снимка мог быть поврежден после объединения
BUG-96289	HDFS-11701	NPE с неразрешенного узла вызывает постоянные сбои DFSInputStream
BUG-96291	STORM-2652	Исключение, вызванное в открытом методе JmsSpout
BUG-96363	HIVE-18959	Не следует создавать дополнительный пул потоков в LLAP
BUG-96390	HDFS-10453	Поток ReplicationMonitor мог зависнуть на длительное время из-за гонки между репликацией и удалением одного и того же файла в большом кластере
BUG-96454	YARN-4593	Взаимоблокировка в методе AbstractService.getConfig()
BUG-96704	FALCON-2322	Исключение ClassCastException при отправке канала submitAndSchedule
BUG-96720	SLIDER-1262	Сбой ползунок functests в `Kerberized` среде
BUG-96931	SPARK 23053, SPARK 23186, SPARK 23230, SPARK 23358, SPARK 23376, SPARK 23391	Обновление `Spark2` актуальной версии (19 февраля)
BUG-97067	HIVE-10697	ObjectInspectorConvertors#UnionConvertor выполняет ошибочное преобразование
BUG-97244	KNOX-1083	Время ожидания по умолчанию HttpClient должно представлять собой допустимое значение
BUG-97459	ZEPPELIN-3271	Параметр отключения планировщика
BUG-97511	KNOX-1197	В службе фильтр AnonymousAuthFilter не добавляется, если authentication=Anonymous
BUG-97601	HIVE-17479	Промежуточные каталоги не очищаются для запросов обновления и удаления
BUG-97605	HIVE-18858	Свойства системы в конфигурации задания не разрешены при отправке задания MR
BUG-97674	OOZIE-3186	Oozie не может использовать конфигурацию, связанную с помощью jceks://file/...
BUG-97743	Н/П	Исключение java.lang.NoClassDefFoundError при развертывании топологии Storm
BUG-97756	PHOENIX-4576	Ошибка выполнения тестов LocalIndexSplitMergeIT
BUG-97771	HDFS-11711	Имя DN не должно удалять блокировку в исключении "Слишком много открытых файлов"
BUG-97869	KNOX-1190	`Knox` Поддержка единого входа для Google OIDC нарушена.
BUG-97879	PHOENIX-4489	Утечка HBase Connection в заданиях MR Phoenix
BUG-98392	RANGER-2007	Сбой обновления билета Kerberos Ranger
BUG-98484	Н/П	Не работает добавочная репликация Hive в облако
BUG-98533	HBASE-19934, HBASE-20008	Сбой восстановления моментального снимка Hbase из-за исключения пустого указателя
BUG-98555	PHOENIX-4662	Исключение NullPointerException в TableResultIterator.java при повторной отправке кэша
BUG-98579	HBASE-13716	Прекратите использовать константы FSConstants Hadoop
BUG-98705	KNOX-1230	Многие одновременные запросы, вызывающие `Knox` управление URL-адресом
BUG-98983	KNOX-1108	Сбой отработки отказа NiFiHaDispatch
BUG-99107	HIVE-19054	Репликация функции будет использовать hive.repl.replica.functions.root.dir как корень
BUG-99145	RANGER-2035	Ошибки доступа к servicedefs с пустым классом implClass с серверной частью Oracle
BUG-99160	SLIDER-1259	Slider не работает в нескольких средах
BUG-99239	ATLAS-2462	Импорт Sqoop для всех таблиц вызывает NPE без таблицы, указанной в команде
BUG-99301	ATLAS-2530	Новая строка в начале атрибута имени hive_process и hive_column_lineage
BUG-99453	HIVE-19065	Проверка совместимости клиента хранилища метаданных должна включать syncMetaStoreClient
BUG-99521	Н/П	ServerCache для HashJoin не создается повторно при повторном создании экземпляров итераторов
BUG-99590	PHOENIX-3518	Утечка памяти в RenewLeaseTask
BUG-99618	SPARK-23599, SPARK-23806	Обновление `Spark2` до версии 2.3.0+ (3/28)
BUG-99672	ATLAS-2524	Обработчик Hive с уведомлениями V2 — неправильная обработка операции "изменить представление как"
BUG-99809	HBASE-20375	Не используйте getCurrentUserCredentials в модуле hbase-spark

Возможности поддержки

Идентификатор ошибки	Apache JIRA	Сводка
BUG-87343	HIVE-18031	Включите поддержку репликации для операции изменения базы данных
BUG-91293	RANGER-2060	`Knox` прокси-сервер `knox-sso` не работает для ranger
BUG-93116	RANGER-1957	Синхронизация пользователей Ranger не выполняет периодическую синхронизацию пользователей или групп при включенной добавочной синхронизации.
BUG-93577	RANGER-1938	Solr для настройки аудита неэффективно использует значения DocValues
BUG-96082	RANGER-1982	Улучшение ошибок для метрики аналитики ranger Администратор и Ranger`Kms`
BUG-96479	HDFS-12781	После `Datanode` перехода `Namenode` на вкладку пользовательского интерфейса `Datanode` возникает предупреждение.
BUG-97864	HIVE-18833	Сбой автоматического объединения при выполнении вставки в каталог как вставки ORC-файла
BUG-98814	HDFS-13314	При обнаружении узлом NameNode повреждения FsImage нужно обязательно завершить его работу

Восстановить

Идентификатор ошибки	Apache JIRA	Сводка
BUG-100134	SPARK-22919	Отмените изменение "Активировать версии клиента HTTPClient Apache"
BUG-95823	Н/П	`Knox`:Обновления `Beanutils`
BUG-96751	KNOX-1076	Обновите nimbus-jose-jwt до версии 4.41.2
BUG-97864	HIVE-18833	Сбой автоматического объединения при выполнении вставки в каталог как вставки ORC-файла
BUG-99056	HADOOP-13556	Измените префикс Configuration.getPropsWithPrefix, чтобы вместо итератора использовать getProps
BUG-99378	ATLAS-2461, ATLAS-2554	Служебная программа переноса для экспорта данных Atlas в базе данных графа Titan

Удобство использования

Идентификатор ошибки	Apache JIRA	Сводка
BUG-100045	HIVE-19056	Исключение IllegalArgumentException в индексе FixAcidKeyIndex при отсутствии строк в ORC-файле
BUG-100139	KNOX-1243	Нормализация необходимых доменных имен, настроенных в `KnoxToken` службе
BUG-100570	ATLAS-2557	Исправление, позволяющее разрешить `lookup` группы hadoop `ldap` , если группы из UGI неправильно заданы или не пусты
BUG-100646	ATLAS-2102	Оптимизация пользовательского интерфейса Atlas: страница результатов поиска
BUG-100737	HIVE-19049	Добавьте поддержку для таблицы ALTER TABLE, чтобы добавить столбцы для Druid
BUG-100750	KNOX-1246	Обновите конфигурацию службы для `Knox` поддержки последних конфигураций для Ranger.
BUG-100965	ATLAS-2581	Регрессия с уведомлениями обработчика Hive V2: перемещение таблицы в другую базу данных
BUG-84413	ATLAS-1964	Пользовательский интерфейс: поддержка столбцов упорядочения в таблице поиска
BUG-90570	HDFS-11384, HDFS-12347	Добавьте параметр для балансировщика для разгона вызовов getBlocks, чтобы избежать всплеска rpc.CallQueueLength узла NameNode
BUG-90584	HBASE-19052	FixedFileTrailer должен распознавать класс CellComparatorImpl в ветви branch-1.x
BUG-90979	KNOX-1224	`Knox` Прокси-сервер `HADispatcher` для поддержки Atlas в высокой доступности.
BUG-91293	RANGER-2060	`Knox` прокси с knox-sso не работает для ranger
BUG-92236	ATLAS-2281	Сохранение запросов фильтра атрибутов тегов и типов с фильтрами NULL и без поддержки NULL
BUG-92238	ATLAS-2282	Сохраненный избранный поиск появляется только при обновлении после создания, когда есть более 25 избранных поисков
BUG-92333	ATLAS-2286	Предварительно созданный тип kafka_topic не должен объявлять атрибут "тема" как уникальный
BUG-92678	ATLAS-2276	Значение пути для сущности типа hdfs_path задано в нижнем регистре в hive-bridge
BUG-93097	RANGER-1944	Не работает фильтр действий для аудита администратора
BUG-93135	HIVE-15874, HIVE-18189	Запрос Hive возвращает неправильные результаты, если для псевдонима hive.groupby.orderby.position.alias установлено значение true
BUG-93136	HIVE-18189	Порядок по позиции не работает при `cbo` отключении
BUG-93387	HIVE-17600	Обеспечьте пользователям возможность настроить размер enforceBufferSize ORC-файла
BUG-93495	RANGER-1937	Ranger `tagsync` должен обрабатывать уведомления ENTITY_CREATE для поддержки функции импорта Atlas
BUG-93512	PHOENIX-4466	Исключение java.lang.RuntimeException — код отклика 500 — выполнение задания Spark для подключения к серверу запросов Phoenix и загрузки данных
BUG-93801	HBASE-19393	Головной узел HTTP 413 во время доступа к пользовательскому интерфейсу HBase с помощью SSL
BUG-93804	HIVE-17419	При выполнении команды ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS отображается вычисленная статистика для маскированных таблиц
BUG-93932	ATLAS-2320	Классификация "*" с запросом вызывает исключение внутреннего сервера 500
BUG-93933	ATLAS-2286	Предварительно созданный тип kafka_topic не должен объявлять атрибут "тема" как уникальный
BUG-93938	ATLAS-2283, ATLAS-2295	Обновления пользовательского интерфейса для классификаций
BUG-93941	ATLAS-2296, ATLAS-2307	Оптимизация базового поиска, позволяющая при необходимости исключить подтипы и типы дополнительных классификаций сущностей
BUG-93944	ATLAS-2318	Пользовательский интерфейс. При щелчке дочернего тега дважды выбран родительский тег
BUG-93946	ATLAS-2319	Пользовательский интерфейс: выполните обновление, чтобы удалить тег, который находится ниже 25-й позиции в списках тегов как плоской, так и древовидной структур.
BUG-93977	HIVE-16232	Включите поддержку вычисления статистики для столбцов в идентификаторе QuotedIdentifier
BUG-94030	ATLAS-2332	Сбой создания типа с атрибутами с вложенным типом данных коллекции
BUG-94099	ATLAS-2352	Сервер Atlas должен предоставить конфигурацию для указания действительного срока действия для маркера DelegationToken Kerberos
BUG-94280	HIVE-12785	С помощью типа объединения и определяемой пользователем функции просмотрите неработоспособность структуры
BUG-94332	SQOOP-2930	Выполнение задания Sqoop не переопределяет сохраненные общие свойства задания
BUG-94428	Н/П	`Dataplane` Поддержка REST API `Knox` агента профилировщика
BUG-94514	ATLAS-2339	Пользовательский интерфейс: изменения в столбцах в представлении результатов базового поиска также влияют на DSL.
BUG-94515	ATLAS-2169	Ошибка запроса на удаление при настройке необратимого удаления
BUG-94518	ATLAS-2329	При нажатии другого тега, который является неверным, отображается несколько наведении указателя пользовательского интерфейса Atlas.
BUG-94519	ATLAS-2272	Сохраните состояние перетаскиваемых столбцов с помощью API поиска сохранения
BUG-94627	HIVE-17731	добавление обратного `compat` параметра для внешних пользователей в HIVE-11985
BUG-94786	HIVE-6091	Пустые `pipeout` файлы создаются для создания и закрытия подключения
BUG-94793	HIVE-14013	В таблице с описанием неправильно отображается Юникод
BUG-94900	OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802	Установите spark.yarn.jars, чтобы исправить Spark 2.0 с помощью Oozie
BUG-94901	HBASE-19285	Добавьте гистограммы задержки для каждой таблицы
BUG-94908	ATLAS-1921	Пользовательский интерфейс. Поиск с помощью атрибутов признака и сущности: пользовательский интерфейс не выполняет проверку диапазона и позволяет предоставлять значения вне границ для целочисленных и плавающих типов данных.
BUG-95086	RANGER-1953	Оптимизация на странице списка групп пользователей
BUG-95193	SLIDER-1252	Сбой агента Slider — ошибки проверки SSL с помощью Python версии 2.7.5-58
BUG-95314	YARN-7699	queueUsagePercentage будет поступать как INF для `getApp` вызова REST API
BUG-95315	HBASE-13947, HBASE-14517, HBASE-17931	Назначьте системные таблицы серверам с самой последней версией
BUG-95392	ATLAS-2421	Обновления уведомления для поддержки структуры данных V2
BUG-95476	RANGER-1966	В некоторых случаях инициализация механизма политики не создает контекстных обогатителей
BUG-95512	HIVE-18467	Поддержка целого дампа хранилища и загрузки, а также создание и удаление событий в базе данных
BUG-95593	Н/П	Расширение возможностей Oozie DB для поддержки `Spark2sharelib` создания
BUG-95595	HIVE-15563	Проигнорируйте исключение перехода состояния недопустимой операции в запросе SQLOperation.runQuery, чтобы предоставить реальное исключение
BUG-95685	ATLAS-2422	Экспорт: включите поддержку экспорта на основе типа
BUG-95798	PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040	Не используйте направляющие для выполнения запросов поочередно
BUG-95969	HIVE-16828, HIVE-17063, HIVE-18390	Сбой секционированного представления с ошибкой: индекс: 1, размер: 1 исключения IndexOutOfBoundsException
BUG-96019	HIVE-18548	Исправление `log4j` импорта
BUG-96288	HBASE-14123, HBASE-14135, HBASE-17850	Реализуйте резервное копирование и восстановление HBase версии 2.0
BUG-96313	KNOX-1119	`Pac4J` Субъект OAuth/OpenID должен быть настраиваемым
BUG-96365	ATLAS-2442	Для пользователя с правом только на чтение в ресурсе сущности недоступен базовый поиск
BUG-96479	HDFS-12781	После `Datanode` перехода `Namenode` на вкладку пользовательского интерфейса `Datanode` возникает предупреждение.
BUG-96502	RANGER-1990	Добавьте одностороннюю поддержку MySQL SSL для администратора Ranger
BUG-96718	ATLAS-2439	Обновите обработчик Sqoop, чтобы использовать уведомления V2
BUG-96748	HIVE-18587	Вставить событие DML может попытаться вычислить проверка sum в каталогах
BUG-96821	HBASE-18212	В автономном режиме с локальным файловой системой HBase выводится предупреждение об ошибке: не удалось вызвать метод unbuffer в классе org.apache.hadoop.fs.FSDataInputStream
BUG-96847	HIVE-18754	Состояние REPL должно поддерживать предложение with
BUG-96873	ATLAS-2443	Запишите требуемые атрибуты сущности в исходящих сообщениях DELETE
BUG-96880	SPARK-23230	Если hive.default.fileformat — это другие типы файлов, создание `textfile` таблицы приводит к ошибке `serde` .
BUG-96911	OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923	Оптимизируйте синтаксический анализ параметров Spark
BUG-97100	RANGER-1984	Записи журнала аудита HBase могут не отображать все теги, связанные с доступом к столбцу
BUG-97110	PHOENIX-3789	Выполните вызовы обслуживания межрегионального индекса в postBatchMutateIndispensably
BUG-97145	HIVE-12245, HIVE-17829	Включите поддержку комментариев в столбце для архивной таблицы HBase
BUG-97409	HADOOP-15255	Поддержка преобразования верхнего и нижнего регистров для имен групп в LdapGroupsMapping
BUG-97535	HIVE-18710	Продлите разрешения inheritPerms в ACID в Hive 2.X
BUG-97742	OOZIE-1624	Шаблон исключения для `sharelib` JAR
BUG-97744	PHOENIX-3994	Приоритет RPC индекса по-прежнему зависит от свойства фабрики контроллера в файле hbase-site.xml
BUG-97787	HIVE-18460	Уплотнитель не передает свойства таблицы средству записи ORC
BUG-97788	HIVE-18613	Продлите JsonSerDe для поддержки типа BINARY
BUG-97899	HIVE-18808	Обеспечьте более надежное сжатие при сбое обновления статистических данных
BUG-98038	HIVE-18788	Очистите входные данные в инструкции PreparedStatement в JDBC
BUG-98383	HIVE-18907	Создайте служебную программу, чтобы исправить проблему индекса ключа ACID в HIVE-18817
BUG-98388	RANGER-1828	Оптимальной процедурой кодирования является добавление дополнительных заголовков в Ranger
BUG-98392	RANGER-2007	Сбой обновления билета Kerberos Ranger
BUG-98533	HBASE-19934, HBASE-20008	Сбой восстановления моментального снимка Hbase из-за исключения пустого указателя
BUG-98552	HBASE-18083, HBASE-18084	Обеспечьте возможность настройки номера потока очистки файлов небольших и больших размеров в HFileCleaner
BUG-98705	KNOX-1230	Многие одновременные запросы, вызывающие `Knox` управление URL-адресом
BUG-98711	Н/П	Диспетчеризация NiFi не может использовать двухсторонний SSL без модификаций файла service.xml
BUG-98880	OOZIE-3199	Предоставьте возможность настраивать ограничение системного свойства
BUG-98931	ATLAS-2491	Обновите обработчик Hive для использования уведомлений Atlas v2
BUG-98983	KNOX-1108	Сбой отработки отказа NiFiHaDispatch
BUG-99088	ATLAS-2511	Предоставьте возможность выборочно импортировать базы данных и таблицы из Hive в Atlas
BUG-99154	OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885	Ошибка запроса Spark с исключением "java.io.FileNotFoundException: hive-site.xml (Permission denied)"
BUG-99239	ATLAS-2462	Импорт Sqoop для всех таблиц вызывает NPE без таблицы, указанной в команде
BUG-99636	KNOX-1238	Исправьте настройки пользовательского хранилища Truststore для шлюза
BUG-99650	KNOX-1223	Прокси-сервер Zeppelin `Knox` не перенаправляет /api/ticket, как ожидалось
BUG-99804	OOZIE-2858	HiveMain, ShellMain и SparkMain не должны локально перезаписывать свойства и файлы конфигурации
BUG-99805	OOZIE-2885	Запуск действий Spark должен происходить без участия Hive в пути к классам
BUG-99806	OOZIE-2845	Замена кода на основе отражения, который задает переменную в HiveConf
BUG-99807	OOZIE-2844	Повышение стабильности действий Oozie, когда `log4j`свойства отсутствуют или не доступны для чтения
RMP-9995	AMBARI-22222	Переключите Druid, чтобы использовать каталог /var/druid вместо каталога /apps/druid на локальном диске

Изменение поведения

Компонент Apache	Apache JIRA	Сводка	Сведения
Spark 2.3	Н/Д	Изменения, описанные в заметках о выпуске Apache Spark	- Раздел об устаревших версиях и сведения об изменениях в поведении — https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations — Для SQL приводится следующее подробное руководство о миграции (обновление SQL с версии 2.2 до 2.3), https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23\|
Spark	HIVE-12505	Задание Spark успешно завершено, но есть полная ошибка квоты диска HDFS	Сценарий: выполнение команды insert overwrite, когда в папке "Корзина" пользователя, запустившего команду, задана квота. Прежнее поведение: задание выполняется успешно, даже если не удается переместить данные в корзину. Результат может ошибочно содержать некоторые данные, ранее представленные в таблице. Новое поведение: при сбое перемещения в папку "Корзина" файлы навсегда удаляются.
Kafka 1.0	Н/Д	Изменения, описанные в заметках о выпуске Apache Spark	https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Hive/Ranger		Другие политики Ranger Hive, необходимые для выполнения команды INSERT OVERWRITE	Сценарий: другие политики Ranger Hive, необходимые для выполнения команды INSERT OVERWRITE Прежнее поведение: запросы INSERT OVERWRITE Hive выполнялись в обычном режиме. Новое поведение: запросы INSERT OVERWRITE Hive неожиданно завершаются сбоем после обновления до HDP-2.6.x. Появляется следующая ошибка: Произошла ошибка при компиляции инструкции: сбой: отклонено разрешение исключения HiveAccessControlException: у пользователя jdoe нет привилегии WRITE в каталоге /tmp/(state=42000,code=40000) Начиная с HDP версии 2.6.0, запросам INSERT OVERWRITE* Hive требуется, чтобы политика URI Ranger позволяла выполнять операции записи, даже если у пользователя есть привилегия на запись, предоставленная с помощью политики HDFS. Возможное решение или ожидаемое действие пользователя: 1. Создайте новую политику в репозитории Hive. 2. В раскрывающемся списке с базой данных выберите универсальный код ресурса (URI). 3. Обновите путь (например: /tmp/*). 4. Добавьте пользователей и группу. Сохраните изменения. 5. Повторно отправьте запрос вставки.
HDFS	Н/Д	HDFS должна поддерживать несколько `KMS Uris`	Прежнее поведение: свойство dfs.encryption.key.provider.uri использовалось для настройки пути поставщика сервера управления ключами. Новое поведение: dfs.encryption.key.provider.uri теперь устарел. Для настройки пути поставщика сервера управления ключами сейчас используется hadoop.security.key.provider.path.
Zeppelin	ZEPPELIN-3271	Параметр отключения планировщика	Затронутый компонент: Zeppelin-Server Прежнее поведение: в предыдущих выпусках Zeppelin не было возможности отключить планировщик. Новое поведение. По умолчанию пользователи больше не увидят планировщика, так как он отключен по умолчанию. Возможное решение или ожидаемое действие пользователя: если вы хотите включить планировщик, вам нужно будет добавить azeppelin.notebook.cron.enable со значением true в параметрах Zeppelin на сайте пользователя Zeppelin из Ambari.

Известные проблемы

Интеграция HDInsight с ADLS 2-го поколения. Существует две проблемы в кластерах ESP HDInsight, использующих Azure Data Lake Storage 2-го поколения с каталогами и разрешениями пользователей:
1. Домашние каталоги для пользователей не создаются на головном узле 1. В качестве обходного решения создайте каталоги вручную и измените владение соответствующим пользователем имени участника-пользователя.
2. Сейчас в качестве разрешений для каталога /hdp не задано значение 751. Необходимо задать
```
chmod 751 /hdp 
chmod –R 755 /hdp/apps
```
Spark 2.3
- [SPARK-23523][SQL] Неверный результат, вызванный правилом OptimizeMetadataOnlyQuery
- [SPARK-23406] Ошибки в самосоединениях между потоками
- Примеры записных книжек Spark недоступны, если Azure Data Lake Storage (поколение 2) является хранилищем кластера по умолчанию.
Пакет безопасности корпоративного уровня
- Сервер Thrift Spark не принимает подключения из клиентов ODBC. Обходные действия:
  1. Когда кластер будет создан, подождите около 15 минут.
  2. Проверьте, есть ли в пользовательском интерфейсе Ranger политика hivesampletable_policy.
  3. Перезапустите службу Spark. Теперь подключение службы токенов безопасности должно быть работоспособным.
Возможное решение для устранения ошибки проверки службы Ranger
- RANGER-1607: возможное решение для устранения ошибки проверки службы Ranger при обновлении предыдущих версий HDP до версии 2.6.2.
  
  Примечание.
  
  Только если для Ranger включен SSL.
Эта проблема возникает при попытке обновить через Ambari предыдущие версии HDP до версии 2.6.1. Ambari использует вызов Curl для проверки службы в службе Ranger в Ambari. Если Ambari использует JDK версии 1.7, вызов Curl завершится ошибкой ниже:

curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

Причиной этой ошибки является версия Tomcat, используемая в Ranger, — Tomcat-7.0.7*. JDK-1.7 конфликтует с шифрами по умолчанию, которые содержатся в Tomcat-7.0.7*.

Вы можете устранить эту проблему двумя способами:
- Обновите версию JDK в Ambari с 1.7 до 1.8 (ознакомьтесь с разделом об изменении версии JDK в справочном руководстве Ambari).
- Если вы хотите продолжить работу с JDK версии 1.7:
  1. Добавьте свойство ranger.tomcat.ciphers в разделе ranger-admin-site в конфигурации Ambari Ranger со значением ниже:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
  2. Если среда настроена для сервера управления ключами Ranger, добавьте свойство ranger.tomcat.ciphers в разделе ranger-kms-site в конфигурации Ambari Ranger со значением ниже:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
Примечание.

Отмеченные значения являются рабочими примерами и могут не указывать на вашу среду. Проверьте, чтобы способ задания этих свойств соответствовал настройке вашей среды.
Пользовательский интерфейс Ranger: исключение текста условия политики, введенного в форму политики

Затронутый компонент: Ranger

Описание проблемы

Если пользователь хочет создать политику с настраиваемыми условиями, а выражение или текст содержит специальные знаки, тогда применение политики завершится сбоем. Перед сохранением политики в базу данных специальные знаки преобразуются в ASCII.

Специальные символы: & <> ' '

Например, после сохранения политики условие tags.attributes['type']='abc' будет преобразовано в следующее.

tags.attds[' dsds'] =' cssdfs'

Чтобы увидеть условие политики с этими знаками, откройте политику в режиме редактирования.

Обходное решение
- Параметр №1: создание и обновление политики через Rest API Ranger
  
  URL-адрес REST: http://<host>:6080/service/plugins/policies
  
  Создание политики с условием:
  
  В примере ниже будет создана политика с тегами, такими как "tags-test". Она будет назначена группе "public" с условием политики astags.attr['type']=='abc' путем выбора всех разрешений компонента Hive, например select, update, create, drop, alter, index, lock, all.
  
  Пример:
```
  curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
```
  Обновите имеющуюся политику с условием:
  
  В примере ниже политика с тегами, такими как "tag-test", будет обновлена. Она будет назначена группе "public" с условием политики astags.attr['type']=='abc' путем выбора всех разрешений компонента Hive, например select, update, create, drop, alter, index, lock, all.
  
  URL-адрес REST: http://<host-name>:6080/service/plugins/policies/<policy-id>
  
  Пример:
```
  curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
```
- Параметр №2: применение изменений Javascript
  
  Чтобы обновить JS-файл, сделайте следующее:
  1. В /usr/hdp/current/ranger-admin найдите файл PermissionList.js.
  2. Определение функции renderPolicyCondtion (строка no: 404).
  3. Удалите следующую строку из этой функции, т. е. под отображаемой функцией (строка no: 434)
    
    val = _.escape(val);//Line No:460
    
    После удаления строки выше пользовательский интерфейс Ranger позволит вам создавать политики с условием, которое может содержать специальные знаки, и оценка той же политики будет успешной.

Интеграция HDInsight с ADLS 2-го поколения: проблемы с каталогами пользователей и разрешениями с кластерами ESP 1. Домашние каталоги для пользователей не создаются на головном узле 1. Обходной путь — создать эти данные вручную и изменить владение соответствующим пользователем имени участника-пользователя. 2. Разрешения на /hdp в настоящее время не заданы в значение 751. Необходимо установить значение a. chmod 751 /hdp b. chmod –R 755 /hdp/apps

Устаревание

Портал OMS: мы удалили ссылку на страницу ресурсов HDInsight, которая указывала на портал OMS. Для журналов Azure Monitor изначально использовался собственный портал для управления конфигурацией и анализа собранных данных, известный как портал OMS. Теперь все функциональные возможности этого портала перемещены на портал Azure, где и будут совершенствоваться далее. HDInsight больше не поддерживает портал OMS. На портале Azure клиенты будут использовать интеграцию журналов Azure Monitor с HDInsight.
Spark 2.3:Устаревшие функции Spark версии 2.3.0

Обновление

Все эти функции доступны в HDInsight версии 3.6. Чтобы получить последнюю версию Spark, Kafka и R Server (Службы машинного обучения), выберите версию Spark, Kafka, Службы машинного обучения при создании кластера HDInsight 3.6. Чтобы получить поддержку ADLS, как вариант можно выбрать тип хранилища ADLS. Автоматическое обновление имеющихся кластеров до этих версий не предусмотрено.

Все новые кластеры, созданные после июня 2018 года, автоматически получат больше 1000 исправлений ошибок для всех проектов с открытым кодом. Ознакомьтесь с этим руководством, чтобы узнать о передовых методах обновления до более новой версии HDInsight.

Share via

Архивные заметки о выпуске

Итоги

Сведения о выпуске

Дата выпуска: 15 февраля 2024 г.

Новые возможности

Устраненные проблемы

Скоро

Следующие шаги

Дата выпуска: 10 января 2024 г.

Устраненные проблемы

Скоро

Дата выпуска: 26 октября 2023 г.

Новые возможности

Скоро

Дата выпуска: 7 сентября 2023 г.

Скоро

Дата выпуска: 25 июля 2023 г.

Новые возможности

Скоро

Дата выпуска: 08 мая 2023 г.

Дата выпуска: 28 февраля 2023 г.

Дальнейшие действия

Дата выпуска: 12 декабря 2022 г.

Исправления ошибок с открытым кодом

Дата выпуска: 10.08.2022

Новая функция

Фиксированный

Анализ журналов

Исправления других ошибок

Исправления ошибок с открытым кодом

Исправления ошибок TEZ

Исправления ошибок Hive

Известные проблемы

Дата выпуска: 10.08.2022

Новая функция

Фиксированный

Анализ журналов

Исправления других ошибок

Исправления ошибок с открытым кодом

Исправления ошибок TEZ

Исправления ошибок Hive

Известные проблемы

Дата выпуска: 03.06.2022

Краткие сведения о выпуске

Ambari

Исправления ошибок TEZ

Исправление ошибок HBase

Исправления ошибок Hive

Дата выпуска: 10.03.2022

Выпущена общедоступная версия Spark 3.1

Выпущена общедоступная версия Kafka 2.4

Тип данных Map в HWC теперь поддерживается в HDInsight 4,0

Новые регионы

Изменения в бэкпорте OSS

Приведенные ниже Apache JIRA обратно портированы для этого выпуска:

Примечания об устаревании

Масштабируемые наборы виртуальных машин Azure в HDInsight

Масштабирование рабочих нагрузок HBase Azure HDInsight теперь будет поддерживаться только с помощью масштабирования вручную.

Дата выпуска: 27.12.2021

Дата выпуска: 27.07.2021

Новые возможности

Поддержка Azure HDInsight для ограниченного общедоступного подключения доступна всем с 15 октября 2021 г.

Общедоступная версия службы поддержки Azure HDInsight для Azure Private Link доступна с15 октября 2021 г.

Новые интерфейс интеграции Azure Monitor (предварительная версия)

Устаревание

Изменения в работе

Интерактивный запрос HDInsight поддерживает только автомасштабирование по расписанию

Предстоящие изменения

Встроенный компонент LLAP в кластере ESP Spark будет удален

Новый регион

Изменение версий компонентов

Обратно портированные JIRA

Исправление цен для HDInsight Dv2 Виртуальные машины

Дата выпуска: 02.06.2021

Новые возможности

Обновление версии ОС

Оптимизация масштабирования в кластерах с поддержкой ускоренной записи HBase

Устаревание

Изменения в работе

Исправление цен для HDInsight `Dv2` Виртуальные машины

`Eav4`Поддержка -series

Размеры виртуальных машин кластера по умолчанию изменяются на `Ev3`-series

Размер виртуальной машины кластера по умолчанию изменяется на `Ev3`-series