Het clustergebruik van Delta Live Tables-pijplijnen optimaliseren met verbeterde automatische schaalaanpassing

Met Verbeterde automatische schaalaanpassing van Databricks wordt het clustergebruik geoptimaliseerd door clusterresources automatisch toe te wijzen op basis van het workloadvolume, met minimale gevolgen voor de latentie van gegevensverwerking van uw pijplijnen.

Verbeterde automatische schaalaanpassing verbetert de functionaliteit voor automatisch schalen van Azure Databricks-clusters met de volgende functies:

• Verbeterde automatische schaalaanpassing implementeert optimalisatie van streamingworkloads en voegt verbeteringen toe om de prestaties van batchworkloads te verbeteren. Verbeterde automatische schaalaanpassing optimaliseert de kosten door machines toe te voegen of te verwijderen wanneer de werkbelasting verandert.
• Verbeterde automatische schaalaanpassing sluit proactief onderbenutte knooppunten af terwijl wordt gegarandeerd dat er tijdens het afsluiten geen mislukte taken zijn. Met de bestaande functie voor automatisch schalen van clusters worden alleen knooppunten omlaag geschaald als het knooppunt niet actief is.

Verbeterde automatische schaalaanpassing is de standaardmodus voor automatisch schalen wanneer u een nieuwe pijplijn maakt in de gebruikersinterface van Delta Live Tables. U kunt verbeterde automatische schaalaanpassing voor bestaande pijplijnen inschakelen door de pijplijninstellingen in de gebruikersinterface te bewerken. U kunt verbeterde automatische schaalaanpassing ook inschakelen wanneer u pijplijnen maakt of bewerkt met de Delta Live Tables-API.

Verbeterde automatische schaalaanpassing inschakelen

Notitie

Omdat rekenresources automatisch worden geoptimaliseerd voor serverloze pijplijnen, zijn instellingen voor verbeterde automatische schaalaanpassing van Databricks niet beschikbaar wanneer u serverloze (openbare preview) voor een pijplijn selecteert.

Neem contact op met uw Azure Databricks-accountteam voor meer informatie over het inschakelen van serverloze DLT-pijplijnen.

Ga op een van de volgende manieren te werk om verbeterde automatische schaalaanpassing te gebruiken:

• Stel de clustermodus in op Verbeterde automatische schaalaanpassing wanneer u een pijplijn maakt of een pijplijn bewerkt in de gebruikersinterface van Delta Live Tables.
• Voeg de autoscale instelling toe aan de configuratie van het pijplijncluster en stel het mode veld in op ENHANCED. Zie Uw rekeninstellingen configureren.

Gebruik de volgende richtlijnen bij het configureren van verbeterde automatische schaalaanpassing voor productiepijplijnen:

• Laat de Min workers instelling op de standaardwaarde staan.
• Stel de Max workers instelling in op een waarde op basis van budget- en pijplijnprioriteit.

In het volgende voorbeeld wordt een uitgebreid automatisch schalend cluster geconfigureerd met minimaal 5 werkrollen en maximaal 10 werkrollen. max_workers moet groter zijn dan of gelijk zijn aan min_workers.

Notitie

• Verbeterde automatische schaalaanpassing is alleen beschikbaar voor updates clusters. De bestaande functie voor automatisch schalen wordt gebruikt voor maintenance clusters.
• De autoscale configuratie heeft twee modi:
  • LEGACY: Automatische schaalaanpassing van clusters gebruiken.
  • ENHANCED: Verbeterde automatische schaalaanpassing gebruiken.

{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

De pijplijn wordt automatisch opnieuw opgestart nadat de configuratie voor automatisch schalen is gewijzigd als de pijplijn is geconfigureerd voor continue uitvoering. Na het opnieuw opstarten verwacht u een korte periode van verhoogde latentie. Na deze korte periode van verhoogde latentie moet de clustergrootte worden bijgewerkt op basis van uw autoscale configuratie en moet de pijplijnlatentie worden geretourneerd naar de eerdere latentiekenmerken.

Verbeterde pijplijnen voor automatisch schalen bewaken

U kunt het gebeurtenislogboek in de gebruikersinterface van Delta Live Tables gebruiken om metrische gegevens voor verbeterde automatische schaalaanpassing te bewaken. Verbeterde gebeurtenissen voor automatisch schalen hebben het autoscale gebeurtenistype. Hier volgen voorbeelden van gebeurtenissen:

Gebeurtenis	Bericht
Aanvraag voor het wijzigen van het formaat van het cluster is gestart	Scaling [up or down] to <y> executors from current cluster size of <x>
Aanvraag voor het wijzigen van het formaat van het cluster is voltooid	Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED
Het formaat van de aanvraag voor clustergrootte is gedeeltelijk voltooid	Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED
Aanvraag voor clustergrootte is mislukt	Achieved cluster size <x> for cluster <cluster-id> with status FAILED

U kunt ook uitgebreide automatisch schalende gebeurtenissen bekijken door rechtstreeks een query uit te voeren op het gebeurtenislogboek:

• Als u een query wilt uitvoeren op het gebeurtenislogboek voor metrische gegevens over achterstand, raadpleegt u De gegevensachterstand bewaken door een query uit te voeren op het gebeurtenislogboek.
• Als u het formaat van aanvragen en antwoorden van clusters wilt bewaken tijdens uitgebreide bewerkingen voor automatisch schalen, raadpleegt u Verbeterde automatische schaalaanpassing van gebeurtenissen bewaken vanuit het gebeurtenislogboek.