Broncodebeheer in Azure Data Factory

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Standaard maken de Azure Data Factory gebruikersinterface (UX) rechtstreeks op de data factory service. Deze ervaring heeft de volgende beperkingen:

• De Data Factory-service bevat geen opslagplaats voor het opslaan van de JSON-entiteiten voor uw wijzigingen. De enige manier om wijzigingen op te slaan, is via de knop Alles publiceren en alle wijzigingen worden rechtstreeks naar de data factory gepubliceerd.
• De Data Factory service is niet geoptimaliseerd voor samenwerking en versiebeheer.
• De Azure Resource Manager die is vereist voor het implementeren Data Factory zelf is niet inbegrepen.

Voor een betere ontwerpervaring kunt Azure Data Factory Git-opslagplaats configureren met Azure-opslagplaatsen of GitHub. Git is een versiebeheersysteem waarmee u eenvoudiger wijzigingen kunt bijhouden en kunt samenwerken. In dit artikel wordt beschreven hoe u in een Git-opslagplaats kunt configureren en werken, samen met de best practices en een gids voor probleemoplossing.

Voor meer informatie over hoe Azure Data Factory integreert met Git, bekijkt u de onderstaande zelfstudievideo van 15 minuten:

Voordelen van Git-integratie

Hieronder vindt u een lijst met enkele van de voordelen die Git-integratie biedt voor de ontwerpervaring:

• Broncodebeheer: Naarmate uw data factory van cruciaal belang worden, wilt u uw factory integreren met Git om gebruik te maken van verschillende voordelen van broncodebeheer, zoals de volgende:
  • Mogelijkheid om wijzigingen bij te houden/te controleren.
  • Mogelijkheid om wijzigingen terug te keren die fouten hebben geïntroduceerd.
• Gedeeltelijke opsparen: Wanneer u ontwerpt op data factory-service, kunt u wijzigingen niet opslaan als concept en moeten alle data factory worden gevalideerd. Of uw pijplijnen nu niet zijn voltooid of dat u gewoon geen wijzigingen wilt verliezen als uw computer vast komt te zitten, git-integratie maakt incrementele wijzigingen van data factory-resources mogelijk, ongeacht de status waarin ze zich hebben. Door een Git-opslagplaats te configureren, kunt u wijzigingen opslaan, zodat u alleen kunt publiceren wanneer u uw wijzigingen naar tevredenheid hebt getest.
• Samenwerking en controle: Als u meerdere teamleden hebt die bijdragen aan dezelfde factory, kunt u uw teamleden via een codebeoordelingsproces met elkaar laten samenwerken. U kunt uw factory ook zo instellen dat niet elke inzender gelijke machtigingen heeft. Sommige teamleden mogen mogelijk alleen wijzigingen aanbrengen via Git en alleen bepaalde personen in het team mogen de wijzigingen naar de factory publiceren.
• Betere CI/CD: Als u implementeert in meerdere omgevingen met een doorlopend leveringsproces,maakt git-integratie bepaalde acties eenvoudiger. Enkele van deze acties zijn:
  • Configureer uw release-pijplijn zo dat deze automatisch wordt triggeren zodra er wijzigingen zijn aangebracht in uw 'dev'-factory.
  • Pas de eigenschappen in uw factory aan die beschikbaar zijn als parameters in de Resource Manager sjabloon. Het kan handig zijn om alleen de vereiste set eigenschappen als parameters te behouden en al het andere in code vast te stellen.
• Betere prestaties: Een gemiddelde factory met Git-integratie laadt tien keer sneller dan één ontwerp ten opzichte van de data factory service. Deze prestatieverbetering komt doordat resources worden gedownload via Git.

Verbinding maken naar een Git-opslagplaats

Er zijn vier verschillende manieren om een Git-opslagplaats te verbinden met uw data factory voor zowel Azure-opslagplaatsen als GitHub. Nadat u verbinding hebt gemaakt met een Git-opslagplaats, kunt u uw configuratie bekijken en beheren in de beheerhub onder Git-configuratie in de sectie Broncodebeheer

Configuratiemethode 1: Startpagina

Selecteer op Azure Data Factory startpagina codeopslagplaats instellen bovenaan.

Configuratiemethode 2: Ontwerpvas

Selecteer in Azure Data Factory UX-ontwerpvas het vervolgkeuzemenu Data Factory en selecteer vervolgens Codeopslagplaats instellen.

Configuratiemethode 3: Beheerhub

Ga naar de beheerhub in de ADF UX. Selecteer Git-configuratie in de sectie Broncodebeheer. Als u geen opslagplaats hebt verbonden, klikt u op Configureren.

Configuratiemethode 4: Tijdens het maken van de factory

Wanneer u een nieuwe data factory in de Azure Portal, kunt u informatie over de Git-opslagplaats configureren op het tabblad Git-configuratie.

Ontwerpen met Git-integratie van Azure-opslagplaatsen

Visuele ontwerp met Git-integratie van Azure-data factory ondersteunt broncodebeheer en samenwerking voor uw data factory pijplijnen. U kunt een data factory aan een Git-organisatieopslagplaats van Azure Repos voor broncodebeheer, samenwerking, versiebeheer, en meer. Eén Git-organisatie voor Azure-opslagplaatsen kan meerdere opslagplaatsen hebben, maar een Git-opslagplaats voor Azure-opslagplaatsen kan worden gekoppeld aan slechts één data factory. Als u geen Organisatie of opslagplaats van Azure Repos hebt, volgt u deze instructies om uw resources te maken.

Instellingen voor Azure-repos

In het configuratiedeelvenster worden de volgende instellingen voor de azure-opslagplaats voor codeopslagplaats weergegeven:

Een andere tenant Azure Active Directory gebruiken

De Git-repo van Azure-repos kan zich in een andere Azure Active Directory tenant. Als u een andere Azure AD-tenant wilt opgeven, moet u beheerdersmachtigingen hebben voor het Azure-abonnement dat u gebruikt. Zie Abonnementsbeheerder wijzigen voor meer informatie

Uw persoonlijke Microsoft-account

Als u een persoonlijk Microsoft-account git-integratie wilt gebruiken, kunt u uw persoonlijke Azure-repo koppelen aan de Active Directory van uw organisatie.

1. Voeg uw persoonlijke Microsoft-account als gast toe aan de Active Directory van uw organisatie. Zie Add Azure Active Directory B2B collaboration users in the Azure Portal (Gebruikers van B2B-samenwerking toevoegen in de Azure Portal) voor meer Azure Portal.

2. Meld u aan bij de Azure Portal met uw persoonlijke Microsoft-account. Schakel vervolgens over naar de Active Directory van uw organisatie.

3. Ga naar de sectie Azure DevOps, waar u nu uw persoonlijke repo ziet. Selecteer de repo en maak verbinding met Active Directory.

Na deze configuratiestappen is uw persoonlijke repo beschikbaar wanneer u Git-integratie in de Data Factory instellen.

Zie uw Azure DevOps-organisatiekoppelen aan Azure Active Directory voor meer informatie over het verbinden van Azure-Verbinding maken met de Active Directory van uw organisatie.

Ontwerpen met GitHub-integratie

Visuals maken met GitHub-integratie ondersteunt broncodebeheer en samenwerking voor werk aan uw data factory pijplijnen. U kunt een data factory koppelen aan een GitHub voor broncodebeheer, samenwerking en versiebeheer. Eén GitHub kan meerdere opslagplaatsen hebben, maar een GitHub-opslagplaats kan worden gekoppeld aan slechts één data factory. Als u geen account of opslagplaats GitHub, volgt u deze instructies om uw resources te maken.

De GitHub integratie met Data Factory ondersteunt zowel openbare GitHub (dat wil https://github.com zeggen, ) als GitHub Enterprise. U kunt zowel openbare als persoonlijke opslagplaatsen GitHub met Data Factory zolang u lees- en schrijfmachtigingen hebt voor de opslagplaats in GitHub.

Als u een GitHub configureert, moet u beheerdersmachtigingen hebben voor het Azure-abonnement dat u gebruikt.

GitHub instellingen

In het configuratiedeelvenster worden de volgende instellingen GitHub de opslagplaats weergegeven:

GitHub organisaties

Om verbinding te maken met GitHub organisatie moet de organisatie machtigingen verlenen voor Azure Data Factory. Een gebruiker met BEHEERDERSmachtigingen voor de organisatie moet de onderstaande stappen uitvoeren om verbinding data factory maken.

Voor het eerst GitHub verbinding maken met Azure Data Factory

Als u voor het eerst verbinding maakt met GitHub-Azure Data Factory, volgt u deze stappen om verbinding te maken met een GitHub organisatie.

1. Voer in het deelvenster Git-configuratie de organisatienaam in het veld GitHub Account in. Er wordt een prompt weergegeven om GitHub te melden.
2. Meld u aan met uw gebruikersreferenties.
3. U wordt gevraagd om de toepassing Azure Data Factory als een toepassing met de naam AzureDataFactory. In dit scherm ziet u een optie voor het verlenen van machtigingen aan ADF voor toegang tot de organisatie. Als u de optie voor het verlenen van machtigingen niet ziet, vraagt u een beheerder om de machtiging handmatig te verlenen via GitHub.

Zodra u deze stappen hebt doorlopen, kan uw factory verbinding maken met zowel openbare als privé-opslagplaatsen binnen uw organisatie. Als u geen verbinding kunt maken, wist u de browsercache en probeert u het opnieuw.

Al verbonden met GitHub met behulp van een persoonlijk account

Als u al verbinding hebt gemaakt met een GitHub alleen toegang hebt verleend tot een persoonlijk account, volgt u de onderstaande stappen om machtigingen te verlenen aan een organisatie.

1. Ga naar GitHub en open Instellingen.

   

2. Selecteer Toepassingen. Op het tabblad Geautoriseerde OAuth-apps ziet u AzureDataFactory.

   

3. Selecteer de toepassing en verleen de toepassing toegang tot uw organisatie.

   

Zodra u deze stappen hebt doorlopen, kan uw factory verbinding maken met zowel openbare als privé-opslagplaatsen binnen uw organisatie.

Bekende GitHub beperkingen

• U kunt script- en gegevensbestanden opslaan in een GitHub opslagplaats. U moet de bestanden echter handmatig uploaden naar Azure Storage. Een Data Factory uploadt niet automatisch script- of gegevensbestanden die zijn opgeslagen in een GitHub opslagplaats naar Azure Storage.

• GitHub Enterprise met een versie ouder dan 2.14.0 werkt niet in Microsoft Edge browser.

• GitHub integratie met de Data Factory visuele ontwerphulpprogramma's werkt alleen in de algemeen beschikbare versie van Data Factory.

Versiebeheer

Met versiebeheersystemen (ook wel broncodebeheer genoemd) kunnen ontwikkelaars samenwerken aan code en wijzigingen bijhouden die in de codebasis worden aangebracht. Broncodebeheer is een essentieel hulpprogramma voor projecten voor meerdere ontwikkelaars.

Functie-vertakkingen maken

Elke Git-opslagplaats van Azure Repos die is gekoppeld aan een data factory heeft een samenwerkingsvertakking. ( main is de standaard collaboration-vertakking). Gebruikers kunnen ook functievertakkingen maken door te klikken op + Nieuwe vertakking in de vervolgkeuzepagina van de vertakking.

Zodra het deelvenster nieuwe vertakking wordt weergegeven, voert u de naam van de functie branch in en selecteert u een vertakking om het werk op te baseren.

Wanneer u klaar bent om de wijzigingen van uw functie branch samen te voegen met uw samenwerkingstak, klikt u op de vervolgkeuzepagina van de vertakking en selecteert u Pull-aanvraag maken. Met deze actie gaat u naar Azure Repos Git, waar u pull-aanvragen kunt doen, codebeoordelingen kunt uitvoeren en wijzigingen kunt samenvoegen in uw samenwerkingsvertakking. ( main is de standaardinstelling). U mag alleen publiceren naar de Data Factory service vanuit uw samenwerkingsvertakking.

Publicatie-instellingen configureren

Standaard genereert data factory de sjablonen Resource Manager van de gepubliceerde factory en slaat deze op in een vertakking met de naam adf_publish . Als u een aangepaste publicatie branch wilt configureren, voegt u een bestand publish_config.json toe aan de hoofdmap in de samenwerkings branch. Bij het publiceren leest ADF dit bestand, zoekt het naar het veld en slaat alle publishBranch Resource Manager op de opgegeven locatie op. Als de vertakking niet bestaat, data factory automatisch een vertakking. Hieronder ziet u een voorbeeld van hoe dit bestand eruitziet:

{
    "publishBranch": "factory/adf_publish"
}

Azure Data Factory kan slechts één publicatie branch tegelijk hebben. Wanneer u een nieuwe publicatie branch opgeeft, Data Factory de vorige publicatie-vertakking niet verwijderd. Als u de vorige publicatie-vertakking wilt verwijderen, verwijdert u deze handmatig.

Codewijzigingen publiceren

Nadat u wijzigingen hebt samengevoegd in de samenwerkingsvertakking ( is de standaardinstelling), klikt u op Publiceren om uw codewijzigingen handmatig te publiceren in de main branch naar de main Data Factory service.

Er wordt een zijvenster geopend waarin u bevestigt dat de publicatie-vertakking en wijzigingen in behandeling juist zijn. Zodra u uw wijzigingen hebt gecontroleerd, klikt u op OK om de publicatie te bevestigen.

Best practices voor Git-integratie

Machtigingen

Normaal gesproken wilt u niet dat elk teamlid machtigingen heeft om de Data Factory. De volgende machtigingsinstellingen worden aanbevolen:

• Alle teamleden moeten leesmachtigingen hebben voor de Data Factory.
• Alleen een selecte set personen mag publiceren naar de Data Factory. Om dit te doen, moeten ze de rol Data Factory inzender hebben voor de resourcegroep die de Data Factory. Zie Rollen en machtigingen voor Azure Data Factory voor meer Azure Data Factory.

Het is raadzaam om geen directe check-ins naar de samenwerkingsvertakking toe te staan. Deze beperking kan helpen fouten te voorkomen, omdat bij elke check-in een controleproces voor pull-aanvragen wordt doorlopen dat wordt beschreven in Functievertakkingen maken.

Wachtwoorden van Azure Key Vault

Het is raadzaam om verbindingsreeksen Azure Key Vault wachtwoorden of beheerde identiteitsverificatie op te slaan voor gekoppelde Data Factory services. Uit veiligheidsoverwegingen data factory geen geheimen opgeslagen in Git. Wijzigingen in gekoppelde services met geheimen zoals wachtwoorden worden onmiddellijk gepubliceerd naar de Azure Data Factory service.

Het Key Vault of MSI-verificatie maakt continue integratie en implementatie ook eenvoudiger, omdat u deze geheimen niet hoeft op te geven tijdens de implementatie van Resource Manager sjabloon.

Problemen met Git-integratie oplossen

Verouderde publicatie-vertakking

Hieronder vindt u enkele voorbeelden van situaties die een verouderde publicatie-vertakking kunnen veroorzaken:

• Een gebruiker heeft meerdere vertakkingen. In één functievertakking hebben ze een gekoppelde service verwijderd die niet aan AKV is gekoppeld (niet-AKV-gekoppelde services worden onmiddellijk gepubliceerd, ongeacht of ze al dan niet in Git zijn) en hebben ze de functievertakking nooit samengevoegd in de samenwerkingsvertakking.
• Een gebruiker heeft de data factory met behulp van de SDK of PowerShell
• Een gebruiker heeft alle resources naar een nieuwe vertakking verplaatst en voor de eerste keer geprobeerd te publiceren. Gekoppelde services moeten handmatig worden gemaakt bij het importeren van resources.
• Een gebruiker uploadt handmatig een niet-AKV-gekoppelde service of een Integration Runtime JSON. Ze verwijzen naar die resource vanuit een andere resource, zoals een gegevensset, gekoppelde service of pijplijn. Een niet-AKV-gekoppelde service die is gemaakt via de UX, wordt onmiddellijk gepubliceerd omdat de referenties moeten worden versleuteld. Als u een gegevensset uploadt die verwijst naar die gekoppelde service en probeert te publiceren, staat de UX deze toe omdat deze bestaat in de Git-omgeving. Deze wordt geweigerd tijdens het publiceren omdat deze niet bestaat in de data factory service.

Als de publicatievertakking niet is gesynchroniseerd met de main branch en ondanks een recente publicatie niet-bijgewerkte resources bevat, kunt u een van de onderstaande oplossingen gebruiken:

Optie 1: De functionaliteit van de livemodus overschrijven gebruiken

De code van uw samenwerkingsvertakking wordt gepubliceerd of overschreven in de livemodus. De code in uw opslagplaats wordt gezien als de bron van waarheid.

Codestroom: Collaboration branch -> Live mode

Optie 2: Verbinding met Git-opslagplaats verbreken en opnieuw verbinden

De code wordt vanuit de livemodus geïmporteerd in de collaboration-vertakking. De code in de livemodus wordt als bron van waarheid gezien.

Codestroom: Livemodus - > Collaboration-vertakking

1. Uw huidige Git-opslagplaats verwijderen
2. Configureer Git opnieuw met dezelfde instellingen, maar zorg ervoor dat Bestaande resources Data Factory naar opslagplaats importeren is geselecteerd en kies Nieuwe vertakking
3. Een pull-aanvraag maken om de wijzigingen in de samenwerkingsvertakking samen te voegen

Kies een van beide methoden naar behoefte.

Alle resources die worden weergegeven als nieuw bij publiceren

Tijdens het publiceren kunnen alle resources als nieuw worden gezien, zelfs als ze eerder zijn gepubliceerd. Dit kan gebeuren als de eigenschap lastCommitId opnieuw wordt ingesteld op de eigenschap repoConfiguration van de factory door een ARM-fabriekssjabloon opnieuw te implementeren of door de eigenschap factory-repoConfiguration bij te werken via PowerShell of de REST API. Als u doorgaat met het publiceren van de resources, wordt het probleem opgelost, maar om te voorkomen dat dit zich opnieuw voordoet, moet u voorkomen dat de eigenschap factory-repoConfiguration wordt bijgewerkt.

Overschakelen naar een andere Git-opslagplaats

Als u wilt overschakelen naar een andere Git-opslagplaats, gaat u naar de Git-configuratiepagina in de beheerhub onder Broncodebeheer. Selecteer Verbinding verbreken.

Voer uw data factory in en klik op Bevestigen om de Git-opslagplaats te verwijderen die is gekoppeld aan uw data factory.

Nadat u de associatie met de huidige repo hebt verwijderd, kunt u uw Git-instellingen configureren voor het gebruik van een andere repo en vervolgens bestaande Data Factory-resources importeren in de nieuwe repo.

Volgende stappen

• Zie Pijplijnen programmatisch bewaken en beheren voor meer informatie over het bewaken en beheren van pijplijnen.
• Zie Continue integratie en levering (CI/CD) inAzure Data Factory voor het implementeren van continue Azure Data Factory.