Detectiemodi voor automatisch laadprogramma's vergelijken
Auto Loader ondersteunt twee modi voor het detecteren van nieuwe bestanden: mapvermelding en bestandsmelding. U kunt schakelen tussen bestandsdetectiemodi voor het opnieuw opstarten van stromen en nog steeds exactly-once gegevensverwerkingsgaranties verkrijgen.
Modus voor adreslijstvermelding
In de mapvermeldingsmodus identificeert Auto Loader nieuwe bestanden door de invoermap weer te geven. Met de modus Adreslijstvermelding kunt u snel AutoLoader-streams starten zonder andere machtigingsconfiguraties dan toegang tot uw gegevens in cloudopslag.
In Databricks Runtime 9.1 en hoger kan Auto Loader automatisch detecteren of bestanden met lexicale volgorde in uw cloudopslag aankomen en de hoeveelheid API-aanroepen die nodig zijn om nieuwe bestanden te detecteren aanzienlijk verminderen. Zie Wat is de lijstmodus voor automatisch laden? voor meer informatie.
Bestandsmeldingsmodus
De bestandsmeldingsmodus maakt gebruik van bestandsmeldingen en wachtrijservices in uw cloudinfrastructuuraccount. Automatisch laden kan automatisch een meldingsservice en wachtrijservice instellen die zich abonneren op bestandsevenementen uit de invoermap.
De bestandsmeldingsmodus is beter presterend en schaalbaar voor grote invoermappen of een groot aantal bestanden, maar vereist aanvullende cloudmachtigingen om in te stellen. Zie Wat is de meldingsmodus voor het automatisch laden van bestanden? voor meer informatie.
Cloudopslag ondersteund door modi
Hieronder vindt u de beschikbaarheid voor deze modi.
Als u migreert vanaf een externe locatie of een DBFS-koppeling naar een Unity Catalog-volume, blijft automatisch laadprogramma exact eenmaal garanties bieden.
| Cloudopslag | Adreslijstvermelding | Bestandsmeldingen |
|---|---|---|
| AWS S3 | Alle versies | Alle versies |
| ADLS Gen2 | Alle versies | Alle versies |
| GCS | Alle versies | Databricks Runtime 9.1 en hoger |
| Azure Blob-opslag | Alle versies | Alle versies |
| ADLS Gen1 | Alle versies | Niet ondersteund |
| DBFS | Alle versies | Alleen voor koppelpunten |
| Unity Catalog-volume | Databricks Runtime 13.3 LTS en hoger | Niet-ondersteund |