Opmerkingen bij de release van Azure HDInsightAzure HDInsight release notes

Dit artikel bevat informatie over de meest recente updates voor Azure HDInsight-release.This article provides information about the most recent Azure HDInsight release updates. Zie voor meer informatie over eerdere versies het HDInsight Release Notes-archief.For information on earlier releases, see HDInsight Release Notes Archive.

SamenvattingSummary

Azure HDInsight is een van de populairste services van zakelijke klanten voor open-source analyses op Azure.Azure HDInsight is one of the most popular services among enterprise customers for open-source analytics on Azure.

Als u zich wilt abonneren op release opmerkingen, kijkt u naar releases op deze github-opslag plaats.If you would like to subscribe on release notes, watch releases on this GitHub repository.

Release datum: 11/18/2020Release date: 11/18/2020

Deze versie is van toepassing op zowel HDInsight 3,6 als HDInsight 4,0.This release applies for both HDInsight 3.6 and HDInsight 4.0. HDInsight-release wordt beschikbaar gesteld voor alle regio's over enkele dagen.HDInsight release is made available to all regions over several days. De release datum geeft hier de release datum van de eerste regio aan.The release date here indicates the first region release date. Als de onderstaande wijzigingen niet worden weer gegeven, wacht u tot de release over enkele dagen in uw regio actief is.If you don't see below changes, wait for the release being live in your region in several days.

Nieuwe functiesNew features

Automatische rotatie van de sleutel voor door de klant beheerde sleutel versleuteling bij restAuto key rotation for customer managed key encryption at rest

Vanaf deze release kunnen klanten met de Azure KeyValut-versie versleutelings sleutel-Url's voor door de klant beheerde sleutel versleuteling in rust gebruiken.Starting from this release, customers can use Azure KeyValut version-less encryption key URLs for customer managed key encryption at rest. HDInsight roteert de sleutels automatisch wanneer deze verlopen of worden vervangen door nieuwe versies.HDInsight will automatically rotate the keys as they expire or replaced with new versions. Meer informatie vindt u hier.Learn more details here.

Mogelijkheid om verschillende Zookeeper van virtuele machines te selecteren voor Spark-, Hadoop-en ML-ServicesAbility to select different Zookeeper virtual machine sizes for Spark, Hadoop, and ML Services

HDInsight biedt nog geen ondersteuning voor het aanpassen van de Zookeeper-knooppunt grootte voor de cluster typen Spark, Hadoop en ML Services.HDInsight previously didn't support customizing Zookeeper node size for Spark, Hadoop, and ML Services cluster types. De standaard instelling is dat de grootte van de virtuele machines van/a2 wordt A2_v2, die gratis worden meegeleverd.It defaults to A2_v2/A2 virtual machine sizes, which are provided free of charge. In deze versie kunt u een grootte van een virtuele Zookeeper-machine selecteren die het meest geschikt is voor uw scenario.From this release, you can select a Zookeeper virtual machine size that is most appropriate for your scenario. Zookeeper-knoop punten met een andere grootte dan A2_v2/a2 worden in rekening gebracht.Zookeeper nodes with virtual machine size other than A2_v2/A2 will be charged. A2_v2 en a2 virtuele machines worden nog gratis beschikbaar gesteld.A2_v2 and A2 virtual machines are still provided free of charge.

Verplaatsen naar schaal sets voor virtuele Azure-machinesMoving to Azure virtual machine scale sets

HDInsight maakt nu gebruik van virtuele machines van Azure om het cluster in te richten.HDInsight now uses Azure virtual machines to provision the cluster. Vanaf deze release wordt de service geleidelijk naar virtuele-machine schaal sets van Azuregemigreerd.Starting from this release, the service will gradually migrate to Azure virtual machine scale sets. Het hele proces kan maanden duren.The entire process may take months. Nadat uw regio's en abonnementen zijn gemigreerd, worden nieuw gemaakte HDInsight-clusters uitgevoerd op virtuele-machine schaal sets zonder klant acties.After your regions and subscriptions are migrated, newly created HDInsight clusters will run on virtual machine scale sets without customer actions. Er wordt geen breuk wijziging verwacht.No breaking change is expected.

AfschaffingDeprecation

Afschaffing van HDInsight 3,6 ML Services-clusterDeprecation of HDInsight 3.6 ML Services cluster

Het cluster type van HDInsight 3,6 ML-Services is de eind datum van de ondersteuning van december 31 2020.HDInsight 3.6 ML Services cluster type will be end of support by December 31 2020. Klanten kunnen na december 31 2020 geen nieuwe clusters van 3,6 ML-services meer maken.Customers won't be able to create new 3.6 ML Services clusters after December 31 2020. Bestaande clusters worden uitgevoerd zonder de ondersteuning van micro soft.Existing clusters will run as is without the support from Microsoft. Controleer hierhet ondersteunings verloop voor HDInsight-versies en cluster typen.Check the support expiration for HDInsight versions and cluster types here.

Uitgeschakelde VM-groottenDisabled VM sizes

Vanaf november 16 2020 worden nieuwe klanten die clusters maken met behulp van standand_A8, standand_A9 standand_A10 en standand_A11 VM-grootten geblokkeerd door HDInsight.Starting from November 16 2020, HDInsight will block new customers creating clusters using standand_A8, standand_A9, standand_A10 and standand_A11 VM sizes. Bestaande klanten die deze VM-grootten in de afgelopen drie maanden hebben gebruikt, worden niet beïnvloed.Existing customers who have used these VM sizes in the past three months won't be affected. Formulier wordt gestart 9 2021. HDInsight blokkeert alle klanten die clusters maken met behulp van standand_A8, standand_A9, standand_A10 en standand_A11 VM-grootten.Starting form January 9 2021, HDInsight will block all customers creating clusters using standand_A8, standand_A9, standand_A10 and standand_A11 VM sizes. Bestaande clusters worden uitgevoerd.Existing clusters will run as is. Overweeg om over te stappen op HDInsight 4,0 om mogelijke onderbreking van systeem/ondersteuning te voor komen.Consider moving to HDInsight 4.0 to avoid potential system/support interruption.

Gedrags wijzigingenBehavior changes

Controle van NSG-regel toevoegen vóór schaal bewerkingAdd NSG rule checking before scaling operation

Met HDInsight zijn netwerk beveiligings groepen (Nsg's) en Udr's-controle (User-defined routes) toegevoegd met een schaal bewerking.HDInsight added network security groups (NSGs) and user-defined routes (UDRs) checking with scaling operation. Dezelfde validatie wordt uitgevoerd voor het schalen van clusters behalve bij het maken van het cluster.The same validation is done for cluster scaling besides of cluster creation. Deze validatie helpt onvoorspelbare fouten te voor komen.This validation helps prevent unpredictable errors. Als de validatie niet is geslaagd, mislukt het schalen.If validation doesn't pass, scaling fails. Zie IP-adressen voor HDInsight-beheervoor meer informatie over het correct configureren van Nsg's en udr's.Learn more about how to configure NSGs and UDRs correctly, refer to HDInsight management IP addresses.

Aanstaande wijzigingenUpcoming changes

De volgende wijzigingen worden uitgevoerd in toekomstige releases.The following changes will happen in upcoming releases.

De standaard grootte van een cluster-VM wordt gewijzigd in de Ev3-serieDefault cluster VM size will be changed to Ev3 family

Vanaf de volgende release (rond einde januari) worden standaard cluster-VM-grootten gewijzigd van D-serie naar Ev3-familie.Starting from next release (around end of January), default cluster VM sizes will be changed from D family to Ev3 family. Deze wijziging is van toepassing op hoofd knooppunten en worker-knoop punten.This change applies to head nodes and worker nodes. U kunt deze wijziging vermijden door de VM-grootten op te geven die u wilt gebruiken in de ARM-sjabloon.To avoid this change, specify the VM sizes that you want to use in the ARM template.

De standaard versie van het cluster wordt gewijzigd in 4,0Default cluster version will be changed to 4.0

Vanaf februari 2021 wordt de standaard versie van het HDInsight-cluster gewijzigd van 3,6 in 4,0.Starting February 2021, the default version of HDInsight cluster will be changed from 3.6 to 4.0. Zie beschik bare versiesvoor meer informatie over de beschik bare versies.For more information about available versions, see available versions. Meer informatie over wat er nieuw is in HDInsight 4,0Learn more about what is new in HDInsight 4.0

Upgrade van besturingssysteem versieOS version upgrade

Bij HDInsight wordt de versie van het besturings systeem bijgewerkt van 16,04 naar 18,04.HDInsight is upgrading OS version from 16.04 to 18.04. De upgrade wordt voltooid vóór april 2021.The upgrade will complete before April, 2021.

HDInsight 3,6 end of support op 30 2021 juniHDInsight 3.6 end of support on June 30 2021

HDInsight 3,6 wordt beëindigd.HDInsight 3.6 will be end of support. Het formulier wordt gestart 30 2021, klanten kunnen geen nieuwe HDInsight 3,6-clusters maken.Starting form June 30 2021, customers can't create new HDInsight 3.6 clusters. Bestaande clusters worden uitgevoerd zonder de ondersteuning van micro soft.Existing clusters will run as is without the support from Microsoft. Overweeg om over te stappen op HDInsight 4,0 om mogelijke onderbreking van systeem/ondersteuning te voor komen.Consider moving to HDInsight 4.0 to avoid potential system/support interruption.

Opgeloste foutenBug fixes

HDInsight blijft de betrouw baarheid en prestaties van het cluster verbeteren.HDInsight continues to make cluster reliability and performance improvements.

Onderdeel versie wijzigenComponent version change

Er is geen wijziging van de onderdeel versie voor deze versie.No component version change for this release. In dit documentvindt u de huidige versie van de onderdelen voor hdinsight 4,0 en hdinsight 3,6.You can find the current component versions for HDInsight 4.0 and HDInsight 3.6 in this doc.

Bekende problemenKnown issues

Voorkomen dat VM's in HDInsight-cluster periodiek opnieuw opstartenPrevent HDInsight cluster VMs from rebooting periodically

Vanaf medio november 2020 hebt u mogelijk gedetecteerd dat de virtuele machines van het HDInsight-cluster op regel matige basis opnieuw worden opgestart.Starting from mid November 2020, you may have noticed HDInsight cluster VMs getting rebooted on a regular basis. Dit kan worden veroorzaakt door:This could be caused by:

  1. Clamav is ingeschakeld in uw cluster.Clamav is enabled on your cluster. Het nieuwe azsec-clamav-pakket verbruikt een grote hoeveelheid geheugen die het opnieuw opstarten van knoop punten activeert.The new azsec-clamav package consumes large amount of memory that triggers node rebooting.
  2. Een CRON-taak is dagelijks gepland, waarmee wordt gecontroleerd op wijzigingen in de lijst met certificerings instanties (Ca's) die worden gebruikt door Azure-Services.A CRON job is scheduled daily that monitors for changes to the list of certificate authorities (CAs) used by Azure services. Wanneer een nieuw CA-certificaat beschikbaar is, voegt het script het certificaat toe aan het vertrouwens archief van de JDK en wordt opnieuw opgestart gepland.When a new CA certificate is available, the script adds the certificate to the JDK trust store and schedules a reboot.

HDInsight is het implementeren van oplossingen en het Toep assen van patch voor alle actieve clusters voor beide problemen.HDInsight is deploying fixes and applying patch for all running clusters for both issues. Als u de correctie onmiddellijk wilt Toep assen en wilt voor komen dat er onverwachte Vm's opnieuw worden opgestart, kunt u onderstaande script acties op alle cluster knooppunten uitvoeren als een permanente script actie.To apply the fix immediately and avoid unexpected VMs rebooting, you can run below script actions on all cluster nodes as a persistent script action. Er wordt nog een bericht weer gegeven na de oplossing en de patch is voltooid.HDInsight will post another notice after the fix and patching complete.

https://hdiconfigactions.blob.core.windows.net/linuxospatchingrebootconfigv02/replace_cacert_script.sh
https://healingscriptssa.blob.core.windows.net/healingscripts/ChangeOOMPolicyAndApplyLatestConfigForClamav.sh