Adatok másolása OData-forrásból az Azure Data Factory vagy a Synapse Analytics használatával
A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ez a cikk azt ismerteti, hogyan használhat másolási tevékenységet egy Azure Data Factory vagy Synapse Analytics-folyamatban az adatok OData-forrásból való másolásához. A cikk a másolási tevékenységre épül, amely a másolási tevékenység általános áttekintését mutatja be.
Támogatott képességek
Ez az OData-összekötő a következő képességekhez támogatott:
Támogatott képességek | IR |
---|---|
Copy tevékenység (forrás/-) | ① ② |
Keresési tevékenység | ① ② |
(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul
A forrásként/fogadóként támogatott adattárak listáját a Támogatott adattárak című témakörben találja.
Ez az OData-összekötő a következőket támogatja:
- OData 2.0-s, 3.0-s és 4.0-s verzió.
- Adatok másolása a következő hitelesítések egyikével: Névtelen, Alapszintű, Windows és Microsoft Entra szolgáltatásnév.
Előfeltételek
Ha az adattár helyszíni hálózaton, Azure-beli virtuális hálózaton vagy Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.
Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime-ot. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, hozzáadhat azure integration runtime IP-eket az engedélyezési listához.
Az Azure Data Factory felügyelt virtuális hálózati integrációs moduljával is elérheti a helyszíni hálózatot anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.
A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.
Első lépések
A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:
- Az Adatok másolása eszköz
- The Azure portal
- A .NET SDK
- A Python SDK
- Azure PowerShell
- A REST API
- Az Azure Resource Manager-sablon
Társított szolgáltatás létrehozása OData-tárolóhoz felhasználói felületen
Az alábbi lépéseket követve hozzon létre egy társított szolgáltatást egy OData-tárolóhoz az Azure Portal felhasználói felületén.
Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd válassza az Új lehetőséget:
Keresse meg az OData-t, és válassza ki az OData-összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.
Csatlakozás or konfigurációjának részletei
Az alábbi szakaszok részletesen ismertetik az OData-összekötőkre jellemző Data Factory-entitások definiálásához használható tulajdonságokat.
Társított szolgáltatás tulajdonságai
OData társított szolgáltatás esetén a következő tulajdonságok támogatottak:
Property | Leírás | Required |
---|---|---|
típus | A típustulajdonságot OData értékre kell állítani. | Igen |
url | Az OData szolgáltatás gyökér URL-címe. | Igen |
authenticationType | Az OData-forráshoz való csatlakozáshoz használt hitelesítés típusa. Az engedélyezett értékek a Névtelen, az Alapszintű, a Windows és az AadServicePrincipal. A felhasználóalapú OAuth nem támogatott. A hitelesítési fejléceket a tulajdonságban authHeader is konfigurálhatja. |
Igen |
authHeaders | További HTTP-kérelemfejlécek a hitelesítéshez. Az API-kulcsos hitelesítés használatához például kiválaszthatja a hitelesítési típust "Névtelen" néven, és megadhatja az API-kulcsot a fejlécben. |
Nem |
Felhasználónév | Adja meg a userName nevet, ha alapszintű vagy Windows-hitelesítést használ. | Nem |
jelszó | Adja meg a felhasználónévhez megadott felhasználói fiók jelszavát. Jelölje meg ezt a mezőt SecureString-típusként a biztonságos tároláshoz. Hivatkozhat az Azure Key Vaultban tárolt titkos kódokra is. | Nem |
servicePrincipalId | Adja meg a Microsoft Entra-alkalmazás ügyfél-azonosítóját. | Nem |
aadServicePrincipalCredentialType | Adja meg a szolgáltatásnév-hitelesítéshez használandó hitelesítőadat-típust. Az engedélyezett értékek a következők: ServicePrincipalKey vagy ServicePrincipalCert . |
Nem |
servicePrincipalKey | Adja meg a Microsoft Entra alkalmazás kulcsát. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. | Nem |
servicePrincipalEmbeddedCert | Adja meg az alkalmazás Alap64 kódolású tanúsítványát, amelyet a Microsoft Entra ID-ban regisztráltak, és győződjön meg arról, hogy a tanúsítvány tartalomtípusa PKCS #12. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. | Nem |
servicePrincipalEmbeddedCertPassword | Adja meg a tanúsítvány jelszavát, ha a tanúsítványt jelszó védi. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. | Nem |
bérlő | Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. A lekéréshez vigye az egérmutatót az Azure Portal jobb felső sarkában. | Nem |
aadResourceId | Adja meg az engedélyezéshez kért Microsoft Entra-erőforrást. | Nem |
azureCloudType | A szolgáltatásnév hitelesítéséhez adja meg annak az Azure-felhőkörnyezetnek a típusát, amelyre a Microsoft Entra-alkalmazás regisztrálva van. Az engedélyezett értékek az AzurePublic, az AzureChina, az AzureUsGovernment és az AzureGermany. Alapértelmezés szerint a szolgáltatás felhőkörnyezetét használja a rendszer. |
Nem |
connectVia | Az adattárhoz való csatlakozáshoz használható integrációs modul . További információ az Előfeltételek szakaszból. Ha nincs megadva, a rendszer az alapértelmezett Azure Integration Runtime-t használja. | Nem |
1. példa: Névtelen hitelesítés használata
{
"name": "ODataLinkedService",
"properties": {
"type": "OData",
"typeProperties": {
"url": "https://services.odata.org/OData/OData.svc",
"authenticationType": "Anonymous"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
2. példa: Alapszintű hitelesítés használata
{
"name": "ODataLinkedService",
"properties": {
"type": "OData",
"typeProperties": {
"url": "<endpoint of OData source>",
"authenticationType": "Basic",
"userName": "<user name>",
"password": {
"type": "SecureString",
"value": "<password>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
3. példa: Windows-hitelesítés használata
{
"name": "ODataLinkedService",
"properties": {
"type": "OData",
"typeProperties": {
"url": "<endpoint of OData source>",
"authenticationType": "Windows",
"userName": "<domain>\\<user>",
"password": {
"type": "SecureString",
"value": "<password>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
4. példa: Egyszerű szolgáltatáskulcs-hitelesítés használata
{
"name": "ODataLinkedService",
"properties": {
"type": "OData",
"typeProperties": {
"url": "<endpoint of OData source>",
"authenticationType": "AadServicePrincipal",
"servicePrincipalId": "<service principal id>",
"aadServicePrincipalCredentialType": "ServicePrincipalKey",
"servicePrincipalKey": {
"type": "SecureString",
"value": "<service principal key>"
},
"tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
"aadResourceId": "<AAD resource URL>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
5. példa: Szolgáltatásnév-hitelesítés használata
{
"name": "ODataLinkedService",
"properties": {
"type": "OData",
"typeProperties": {
"url": "<endpoint of OData source>",
"authenticationType": "AadServicePrincipal",
"servicePrincipalId": "<service principal id>",
"aadServicePrincipalCredentialType": "ServicePrincipalCert",
"servicePrincipalEmbeddedCert": {
"type": "SecureString",
"value": "<base64 encoded string of (.pfx) certificate data>"
},
"servicePrincipalEmbeddedCertPassword": {
"type": "SecureString",
"value": "<password of your certificate>"
},
"tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
"aadResourceId": "<AAD resource e.g. https://tenant.sharepoint.com>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
6. példa: API-kulcsos hitelesítés használata
{
"name": "ODataLinkedService",
"properties": {
"type": "OData",
"typeProperties": {
"url": "<endpoint of OData source>",
"authenticationType": "Anonymous",
"authHeader": {
"APIKey": {
"type": "SecureString",
"value": "<API key>"
}
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Adathalmaz tulajdonságai
Ez a szakasz az OData-adatkészlet által támogatott tulajdonságok listáját tartalmazza.
Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok és a csatolt szolgáltatások című témakörben találja.
Az adatok OData-ból való másolásához állítsa az adathalmaz típustulajdonságát ODataResource értékre. A következő tulajdonságok támogatottak:
Property | Leírás | Required |
---|---|---|
típus | Az adathalmaz típustulajdonságának ODataResource értékre kell állítania. | Igen |
ösvény | Az OData-erőforrás elérési útja. | Igen |
Példa
{
"name": "ODataDataset",
"properties":
{
"type": "ODataResource",
"schema": [],
"linkedServiceName": {
"referenceName": "<OData linked service name>",
"type": "LinkedServiceReference"
},
"typeProperties":
{
"path": "Products"
}
}
}
Másolási tevékenység tulajdonságai
Ez a szakasz az OData-forrás által támogatott tulajdonságok listáját tartalmazza.
A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című témakörben találja.
OData forrásként
Az adatok OData-ból való másolásához a másolási tevékenység forrás szakasza az alábbi tulajdonságokat támogatja:
Property | Leírás | Required |
---|---|---|
típus | A Másolási tevékenység forrás típustulajdonságának ODataSource értékre kell állítania. | Igen |
Lekérdezés | OData-lekérdezési beállítások az adatok szűréséhez. Example: "$select=Name,Description&$top=5" .Megjegyzés: Az OData-összekötő adatokat másol a kombinált URL-címről: [URL specified in linked service]/[path specified in dataset]?[query specified in copy activity source] . További információ: OData URL-összetevők. |
Nem |
httpRequestTimeout | A HTTP-kérés időtúllépése (a TimeSpan értéke) a válasz lekéréséhez. Ez az érték a válasz lekéréséhez szükséges időtúllépés, nem pedig a válaszadatok olvasásának időtúllépése. Ha nincs megadva, az alapértelmezett érték 00:30:00 (30 perc). | Nem |
Példa
"activities":[
{
"name": "CopyFromOData",
"type": "Copy",
"inputs": [
{
"referenceName": "<OData input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "ODataSource",
"query": "$select=Name,Description&$top=5"
},
"sink": {
"type": "<sink type>"
}
}
}
]
Ha gépelt forrást használt RelationalSource
, az továbbra is támogatott, miközben a rendszer azt javasolja, hogy használja az újat.
Az OData adattípus-leképezése
Amikor adatokat másol az OData-ból, a rendszer a következő leképezéseket használja az OData-adattípusok és a szolgáltatáson belül használt köztes adattípusok között. A Másolási tevékenység a forrásséma és az adattípus fogadóhoz való leképezéséről a séma- és adattípus-leképezések című témakörben tájékozódhat.
OData-adattípus | Köztes szolgáltatás adattípusa |
---|---|
Edm.Binary | Bájt[] |
Edm.Boolean | Bool |
Edm.Byte | Bájt[] |
Edm.DateTime | DateTime |
Edm.Decimális | Decimális |
Edm.Double | Dupla |
Edm.Single | Egyszeres |
Edm.Guid | GUID |
Edm.Int16 | Int16 |
Edm.Int32 | Int32 |
Edm.Int64 | Int64 |
Edm.SByte | Int16 |
Edm.String | Sztring |
Edm.Time | időtartam |
Edm.DateTimeOffset | DateTimeOffset |
Megjegyzés:
Az OData összetett adattípusai (például az Objektum) nem támogatottak.
Adatok másolása a Project Online-ból
A Project Online használatához felhasználói OAuth szükséges, amelyet az Azure Data Factory nem támogat. Ha adatokat szeretne másolni a Project Online-ból, használhatja az OData-összekötőt és a Postmanhez hasonló eszközökről beszerzett hozzáférési jogkivonatot.
Figyelem
A hozzáférési jogkivonat alapértelmezés szerint 1 óra múlva lejár, a lejáratkor új hozzáférési jogkivonatot kell beszereznie.
A hozzáférési jogkivonat lekérése a Postman használatával:
Lépjen az Engedélyezés lapra a Postman webhelyén.
A Típus mezőben válassza az OAuth 2.0 elemet, majd az Engedélyezési adatok hozzáadása mezőben válassza a Kérelemfejlécek lehetőséget.
Új hozzáférési jogkivonat beszerzéséhez töltse ki az alábbi információkat az Új jogkivonat konfigurálása lapon:
- Engedélyezés típusa: Válassza ki az engedélyezési kódot.
- Visszahívás URL-címe: Enter
https://www.localhost.com/
. - Hitelesítési URL-cím: Adja meg
https://login.microsoftonline.com/common/oauth2/authorize?resource=https://<your tenant name>.sharepoint.com
. Cserélje le<your tenant name>
a saját bérlőnevét. - Hozzáférési jogkivonat URL-címe: Enter
https://login.microsoftonline.com/common/oauth2/token
. - Ügyfélazonosító: Adja meg a Microsoft Entra szolgáltatásnév-azonosítóját.
- Titkos ügyfélkód: Adja meg a szolgáltatásnév titkos kódját.
- Ügyfél-hitelesítés: Válassza a Küldés alapszintű hitelesítés fejlécként lehetőséget.
A rendszer kérni fogja, hogy jelentkezzen be a felhasználónevével és jelszavával.
Miután megkapta a hozzáférési jogkivonatot, másolja és mentse a következő lépéshez.
Hozza létre az OData társított szolgáltatást:
- Szolgáltatás URL-címe: Enter
https://<your tenant name>.sharepoint.com/sites/pwa/_api/Projectdata
. Cserélje le<your tenant name>
a saját bérlőnevét. - Hitelesítési típus: Válassza a Névtelen lehetőséget.
- Hitelesítési fejlécek:
- Tulajdonság neve: Válassza az Engedélyezés lehetőséget.
- Érték: Enter
Bearer <access token from step 1>
.
- Tesztelje a társított szolgáltatást.
- Szolgáltatás URL-címe: Enter
Hozza létre az OData-adatkészletet:
- Hozza létre az adathalmazt a 2. lépésben létrehozott OData társított szolgáltatással.
- Előzetes verziójú adatok.
Keresési tevékenység tulajdonságai
A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.
Kapcsolódó tartalom
Azoknak az adattáraknak a listáját, amelyeket a Másolási tevékenység forrásként és fogadóként támogat, tekintse meg a támogatott adattárakat és formátumokat.