Kopírování a transformace dat z Microsoftu 365 (Office 365) do Azure pomocí Azure Data Factory nebo Synapse Analytics
PLATÍ PRO:
Azure Data Factory Azure Synapse Analytics
Tip
Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.
Kanály Azure Data Factory a Synapse Analytics se integrují s datovými připojeními Microsoft Graphu, což umožňuje přenést bohatá organizační data do tenanta Microsoftu 365 (Office 365) do Azure škálovatelným způsobem a vytvářet analytické aplikace a extrahovat přehledy na základě těchto cenných datových prostředků. Integrace s Privileged Access Management poskytuje zabezpečené řízení přístupu pro cenná kurátorovaná data v Microsoftu 365 (Office 365). Přehled připojení dat Microsoft Graphu najdete na tomto odkazu .
Tento článek popisuje, jak pomocí aktivity kopírování kopírovat data a Tok dat k transformaci dat z Microsoftu 365 (Office 365). Úvod ke kopírování dat najdete v přehledu aktivity kopírování. Úvod k transformaci dat najdete v přehledu mapování toku dat.
Poznámka:
Konektor Microsoft 365 Tok dat je aktuálně ve verzi Preview. Pokud se chcete zúčastnit, použijte tento registrační formulář: M365 + Analytics Preview.
Podporované funkce
Tento konektor Microsoft 365 (Office 365) je podporovaný pro následující funkce:
| Podporované funkce | IR |
|---|---|
| aktivita Copy (zdroj/-) | ① |
| Mapování toku dat (zdroj/-) | ① |
(1) Prostředí Azure Integration Runtime (2) Místní prostředí Integration Runtime
Konektor ADF Microsoft 365 (Office 365) a data Microsoft Graphu Připojení umožňují škálovat příjem dat z poštovních schránek s podporou e-mailu Exchange, včetně kontaktů adresáře, událostí kalendáře, e-mailových zpráv, informací o uživatelích, nastavení poštovní schránky atd. Úplný seznam dostupných datových sad najdete tady .
Prozatím můžete v rámci jedné aktivity kopírování a toku dat přijímat pouze data z Microsoftu 365 (Office 365) do Azure Blob Storage, Azure Data Lake Storage Gen1 a Azure Data Lake Storage Gen2 ve formátu JSON (typ setOfObjects). Při kopírování do služby Azure Blob Storage je výstup objektem blob obsahujícím text JSON. Pokud chcete Microsoft 365 (Office 365) načíst do jiných typů úložišť dat nebo v jiných formátech, můžete první aktivitu kopírování nebo tok dat zřetězí s následnou aktivitou a další aktivitou načíst data do libovolného podporovaného cílového úložiště ADF (v tabulce Podporované úložiště dat a formáty se podívejte na sloupec Podporované úložiště dat jako jímka).
Důležité
- Předplatné Azure obsahující pracovní prostor datové továrny nebo Synapse a úložiště dat jímky musí být ve stejném tenantovi Microsoft Entra jako tenant Microsoft 365 (Office 365).
- Ujistěte se, že oblast prostředí Azure Integration Runtime použitá pro aktivitu kopírování a cíl je ve stejné oblasti, ve které se nachází poštovní schránka uživatelů tenanta Microsoftu 365 (Office 365). Informace o určení umístění Azure IR najdete tady . Seznam podporovaných oblastí Office a odpovídajících oblastí Azure najdete v tabulce .
- Ověřování instančního objektu je jediný mechanismus ověřování podporovaný pro Azure Blob Storage, Azure Data Lake Storage Gen1 a Azure Data Lake Storage Gen2 jako cílové úložiště.
Poznámka:
Použijte prostředí Azure Integration Runtime ve zdrojových i jímce propojených službách. Místní prostředí Integration Runtime a prostředí Integration Runtime spravované virtuální sítě se nepodporují.
Požadavky
Pokud chcete kopírovat a transformovat data z Microsoftu 365 (Office 365) do Azure, musíte provést následující kroky požadavků:
- Správce tenanta Microsoftu 365 (Office 365) musí provádět akce onboardingu, jak je popsáno tady.
- Vytvořte a nakonfigurujte webovou aplikaci Microsoft Entra v MICROSOFT Entra ID. Pokyny najdete v tématu Vytvoření aplikace Microsoft Entra.
- Poznamenejte si následující hodnoty, které použijete k definování propojené služby pro Microsoft 365 (Office 365):
- ID tenanta. Pokyny najdete v tématu Získání ID tenanta.
- ID aplikace a klíč aplikace. Pokyny najdete v tématu Získání ID aplikace a ověřovacího klíče.
- Přidejte identitu uživatele, která bude vyžadovat přístup k datům jako vlastník webové aplikace Microsoft Entra (z webové aplikace > Microsoft Entra Nastavení > Vlastníci > přidat vlastníka).
- Identita uživatele musí být v organizaci Microsoft 365 (Office 365), ze které získáváte data, a nesmí být uživatelem typu host.
Schválení nových žádostí o přístup k datům
Pokud požadujete data pro tento kontext poprvé (kombinace toho, ke které tabulce dat se přistupuje, do kterého cílového účtu se načítají data a do které identity uživatele se vytváří žádost o přístup k datům), zobrazí se stav aktivity kopírování jako Probíhající a pouze po kliknutí na odkaz Podrobnosti v části Akce se zobrazí stav RequestingConsent. Člen skupiny schvalovatele přístupu k datům musí před pokračováním extrakce dat schválit žádost ve službě Privileged Access Management.
Tady se dozvíte, jak může schvalovatel schválit žádost o přístup k datům, a tady najdete vysvětlení celkové integrace se službou Privileged Access Management, včetně postupu nastavení skupiny schvalovatele přístupu k datům.
Začínáme
Tip
Návod k používání konektoru Microsoft 365 (Office 365) najdete v článku Načtení dat z Microsoftu 365 (Office 365).
Kanál s aktivitou kopírování a tokem dat můžete vytvořit pomocí některého z následujících nástrojů nebo sad SDK. Výběrem odkazu přejděte na kurz s podrobnými pokyny k vytvoření kanálu s aktivitou kopírování.
Vytvoření propojené služby s Microsoftem 365 (Office 365) pomocí uživatelského rozhraní
Pomocí následujícího postupu vytvořte propojenou službu s Microsoftem 365 (Office 365) v uživatelském rozhraní webu Azure Portal.
Přejděte na kartu Správa v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a pak klikněte na Nový:
Vyhledejte Microsoft 365 (Office 365) a vyberte konektor Microsoft 365 (Office 365).
Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.
podrobnosti o konfiguraci Připojení oru
Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit služby Data Factory specifických pro konektor Microsoft 365 (Office 365).
Vlastnosti propojené služby
Propojené služby Microsoft 365 (Office 365) podporují následující vlastnosti:
| Vlastnost | Popis | Povinní účastníci |
|---|---|---|
| type | Vlastnost typu musí být nastavená na: Office365. | Ano |
| office365TenantId | ID tenanta Azure, ke kterému patří účet Microsoft 365 (Office 365). | Ano |
| servicePrincipalTenantId | Zadejte informace o tenantovi, pod kterým se nachází vaše webová aplikace Microsoft Entra. | Ano |
| servicePrincipalId | Zadejte ID klienta aplikace. | Ano |
| servicePrincipalKey | Zadejte klíč aplikace. Označte toto pole jako řetězec SecureString, abyste ho bezpečně uložili. | Ano |
| connectVia | Prostředí Integration Runtime, které se má použít pro připojení k úložišti dat. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime. | No |
Poznámka:
Rozdíl mezi office365TenantId a servicePrincipalTenantId a odpovídající hodnotou, kterou chcete poskytnout:
- Pokud jste podnikový vývojář, který vyvíjí aplikaci pro data Microsoftu 365 (Office 365) pro využití vaší organizace, měli byste pro obě vlastnosti zadat stejné ID tenanta, což je ID tenanta Microsoft Entra vaší organizace.
- Pokud jste vývojář nezávislých výrobců softwaru, který vyvíjí aplikaci pro vaše zákazníky, office365TenantId bude ID tenanta Microsoft Entra a servicePrincipalTenantId vaší společnosti ID tenanta Microsoft Entra.
Příklad:
{
"name": "Office365LinkedService",
"properties": {
"type": "Office365",
"typeProperties": {
"office365TenantId": "<Microsoft 365 (Office 365) tenant id>",
"servicePrincipalTenantId": "<AAD app service principal tenant id>",
"servicePrincipalId": "<AAD app service principal id>",
"servicePrincipalKey": {
"type": "SecureString",
"value": "<AAD app service principal key>"
}
}
}
}
Vlastnosti datové sady
Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku o datových sadách . Tato část obsahuje seznam vlastností podporovaných datovou sadou Microsoft 365 (Office 365).
Pokud chcete kopírovat data z Microsoftu 365 (Office 365), podporují se následující vlastnosti:
| Vlastnost | Popis | Povinní účastníci |
|---|---|---|
| type | Vlastnost typu datové sady musí být nastavená na: Office365Table. | Ano |
| tableName | Název datové sady, která se má extrahovat z Microsoftu 365 (Office 365). Seznam datových sad Microsoftu 365 (Office 365) dostupných k extrakci najdete tady . | Ano |
Pokud jste nastavili dateFilterColumn,, endTimestartTimea userScopeFilterUri v datové sadě, stále se podporuje tak, jak je, zatímco se navrhuje používat nový model ve zdroji aktivit.
Příklad
{
"name": "DS_May2019_O365_Message",
"properties": {
"type": "Office365Table",
"linkedServiceName": {
"referenceName": "<Microsoft 365 (Office 365) linked service name>",
"type": "LinkedServiceReference"
},
"schema": [],
"typeProperties": {
"tableName": "BasicDataSet_v0.Event_v1"
}
}
}
Vlastnosti aktivity kopírování
Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných zdrojem Microsoftu 365 (Office 365).
Microsoft 365 (Office 365) jako zdroj
Pokud chcete kopírovat data z Microsoftu 365 (Office 365), podporují se v části zdroje aktivity kopírování následující vlastnosti:
| Vlastnost | Popis | Povinní účastníci |
|---|---|---|
| type | Vlastnost typu zdroje aktivity kopírování musí být nastavená na: Office365Source. | Ano |
| allowedGroups | Predikát výběru skupiny Pomocí této vlastnosti můžete vybrat až 10 skupin uživatelů, pro které budou data načtena. Pokud nejsou zadány žádné skupiny, vrátí se data pro celou organizaci. | No |
| userScopeFilterUri | Pokud allowedGroups není zadána vlastnost, můžete použít predikát výraz, který se použije v celém tenantovi, k filtrování konkrétních řádků pro extrakci z Microsoftu 365 (Office 365). Predikát by měl odpovídat formátu dotazu rozhraní Microsoft Graph API, například https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'. |
No |
| dateFilterColumn | Název sloupce filtru DateTime Tato vlastnost slouží k omezení časového rozsahu, pro který se extrahují data Microsoftu 365 (Office 365). | Ano, pokud datová sada obsahuje jeden nebo více sloupců DateTime. Tady najdete seznam datových sad, které vyžadují tento filtr DateTime. |
| startTime | Spusťte hodnotu DateTime, podle které chcete filtrovat. | Ano, pokud dateFilterColumn je zadáno |
| endTime | End DateTime value to filter on. | Ano, pokud dateFilterColumn je zadáno |
| outputColumns | Pole sloupců, které se mají zkopírovat do jímky | No |
Příklad:
"activities": [
{
"name": "CopyFromO365ToBlob",
"type": "Copy",
"inputs": [
{
"referenceName": "<Microsoft 365 (Office 365) input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "Office365Source",
"dateFilterColumn": "CreatedDateTime",
"startTime": "2019-04-28T16:00:00.000Z",
"endTime": "2019-05-05T16:00:00.000Z",
"userScopeFilterUri": "https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'",
"outputColumns": [
{
"name": "Id"
},
{
"name": "CreatedDateTime"
},
{
"name": "LastModifiedDateTime"
},
{
"name": "ChangeKey"
},
{
"name": "Categories"
},
{
"name": "OriginalStartTimeZone"
},
{
"name": "OriginalEndTimeZone"
},
{
"name": "ResponseStatus"
},
{
"name": "iCalUId"
},
{
"name": "ReminderMinutesBeforeStart"
},
{
"name": "IsReminderOn"
},
{
"name": "HasAttachments"
},
{
"name": "Subject"
},
{
"name": "Body"
},
{
"name": "Importance"
},
{
"name": "Sensitivity"
},
{
"name": "Start"
},
{
"name": "End"
},
{
"name": "Location"
},
{
"name": "IsAllDay"
},
{
"name": "IsCancelled"
},
{
"name": "IsOrganizer"
},
{
"name": "Recurrence"
},
{
"name": "ResponseRequested"
},
{
"name": "ShowAs"
},
{
"name": "Type"
},
{
"name": "Attendees"
},
{
"name": "Organizer"
},
{
"name": "WebLink"
},
{
"name": "Attachments"
},
{
"name": "BodyPreview"
},
{
"name": "Locations"
},
{
"name": "OnlineMeetingUrl"
},
{
"name": "OriginalStart"
},
{
"name": "SeriesMasterId"
}
]
},
"sink": {
"type": "BlobSink"
}
}
}
]
Transformace dat pomocí konektoru Microsoft 365
Datové sady Microsoftu 365 je možné použít jako zdroj s mapováním toků dat. Tok dat transformuje data tím, že datovou sadu zploštějí automaticky. To umožňuje uživatelům soustředit se na využití zploštěné datové sady k urychlení analytických scénářů.
Mapování vlastností toku dat
Pokud chcete vytvořit tok dat mapování pomocí konektoru Microsoftu 365 jako zdroje, proveďte následující kroky:
V ADF Studiu přejděte do části Toky dat v centru Autor, vyberte tlačítko ... a rozbalte nabídku Akce toku dat a vyberte položku Nový tok dat. Zapněte režim ladění pomocí tlačítka ladění toku dat na horním panelu plátna toku dat.
V editoru mapování toku dat vyberte Přidat zdroj.
Na kartě Nastavení zdroje vyberte Inline in the Source type property, Microsoft 365 (Office 365) in the Inline dataset type, and the Microsoft 365 linked service that you have created earlier.
Na kartě Možnosti zdroje vyberte název tabulky Microsoftu 365, kterou chcete transformovat. Vyberte také možnost automatického zploštění a rozhodněte se, jestli chcete, aby tok dat automaticky zploštěl zdrojovou datovou sadu.
U karet Projekce, Optimalizace a Kontrola postupujte podle mapování toku dat.
Na kartě Náhled dat klikněte na tlačítko Aktualizovat a načtěte ukázkovou datovou sadu pro ověření.
Související obsah
Seznam úložišť dat podporovaných jako zdroje a jímky aktivitou kopírování najdete v podporovaných úložištích dat.