Azure Data Factory veya Synapse Analytics kullanarak ODBC veri depolarından ve odbc veri depolarına veri kopyalama

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, bir ODBC veri deposundan ve bir ODBC veri deposuna veri kopyalamak için Azure Data Factory'deki Kopyalama Etkinliğinin nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir genel bakış sunan kopyalama etkinliğine genel bakış makalesini oluşturur.

Desteklenen özellikler

Bu ODBC bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler IR
Kopyalama etkinliği (kaynak/havuz) ②
Arama etkinliği ②

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Kaynak/havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Özellikle, bu ODBC bağlayıcısı Temel veya Anonim kimlik doğrulaması kullanarak ODBC ile uyumlu veri depolarından/depolarına veri kopyalamayı destekler. 64 bit ODBC sürücüsü gereklidir. ODBC havuzu için hizmet ODBC sürüm 2.0 standardını destekler.

Önkoşullar

Bu ODBC bağlayıcısını kullanmak için şunları yapmanız gerekir:

  • Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı ayarlayın. Ayrıntılar için şirket içinde barındırılan Integration Runtime makalesine bakın.
  • Integration Runtime makinesindeki veri deposu için 64 bit ODBC sürücüsünü yükleyin.

Başlarken

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

Kullanıcı arabirimini kullanarak ODBC veri deposuna bağlı hizmet oluşturma

Azure portalı kullanıcı arabirimindeki bir ODBC veri deposuna bağlı hizmet oluşturmak için aşağıdaki adımları kullanın.

  1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

  2. ODBC araması yapın ve ODBC bağlayıcısını seçin.

    Screenshot of the ODBC connector.

  3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

    Screenshot of linked service configuration for an ODBC data store.

Bağlan veya yapılandırma ayrıntıları

Aşağıdaki bölümlerde, ODBC bağlayıcısına özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

ODBC bağlı hizmeti için aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
type Tür özelliği şu şekilde ayarlanmalıdır: Odbc Evet
Connectionstring Kimlik bilgisi bölümünü dışlayan bağlantı dizesi. gibi Driver={SQL Server};Server=Server.database.windows.net; Database=TestDatabase;bir desene sahip bağlantı dizesi belirtebilir veya Integration Runtime makinesinde DSN=<name of the DSN on IR machine>; ayarladığınız sistem DSN'sini (Veri Kaynağı Adı) kullanabilirsiniz (bağlı hizmette kimlik bilgisi bölümünü buna göre belirtmeniz gerekir).
Ayrıca Azure Key Vault'a parola ekleyebilir ve yapılandırmayı password bağlantı dizesi çıkarabilirsiniz. Diğer ayrıntılarla birlikte Azure Key Vault'ta kimlik bilgilerini depolama bölümüne bakın.		 Evet
authenticationType ODBC veri deposuna bağlanmak için kullanılan kimlik doğrulama türü.
İzin verilen değerler şunlardır: Temel ve Anonim.		 Evet
userName Temel kimlik doğrulaması kullanıyorsanız kullanıcı adını belirtin. No
password userName için belirttiğiniz kullanıcı hesabının parolasını belirtin. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin veya Azure Key Vault'ta depolanan bir gizli diziye başvurun. No
kimlik bilgisi Sürücüye özgü özellik-değer biçiminde belirtilen bağlantı dizesi erişim kimlik bilgisi bölümü. Örnek: "RefreshToken=<secret refresh token>;". Bu alanı SecureString olarak işaretleyin. No
connectVia Veri deposuna bağlanmak için kullanılacak Integration Runtime. Önkoşullar bölümünde belirtildiği gibi şirket içinde barındırılan tümleştirme çalışma zamanı gereklidir. Evet

Örnek 1: Temel kimlik doğrulamayı kullanma

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "Odbc",
        "typeProperties": {
            "connectionString": "<connection string>",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek 2: Anonim kimlik doğrulaması kullanma

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "Odbc",
        "typeProperties": {
            "connectionString": "<connection string>",
            "authenticationType": "Anonymous",
            "credential": {
                "type": "SecureString",
                "value": "RefreshToken=<secret refresh token>;"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için veri kümeleri makalesine bakın. Bu bölümde ODBC veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

ODBC ile uyumlu veri deposundan/deposundan veri kopyalamak için aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
type Veri kümesinin type özelliği şu şekilde ayarlanmalıdır: OdbcTable Evet
tableName ODBC veri deposundaki tablonun adı. Kaynak için hayır (etkinlik kaynağında "sorgu" belirtilirse);
Havuz için evet

Örnek

{
    "name": "ODBCDataset",
    "properties": {
        "type": "OdbcTable",
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<ODBC linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Yazılan veri kümesini kullanıyorsanız RelationalTable , bu veri kümesi olduğu gibi desteklenirken, ileriye dönük yeni bir veri kümesini kullanmanız önerilir.

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölümde ODBC kaynağı tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak ODBC

ODBC uyumlu veri deposundan veri kopyalamak için kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
type Kopyalama etkinliği kaynağının type özelliği şu şekilde ayarlanmalıdır: OdbcSource Evet
query Verileri okumak için özel SQL sorgusunu kullanın. Örneğin: "SELECT * FROM MyTable". Hayır (veri kümesinde "tableName" belirtilirse)

Örnek:

"activities":[
    {
        "name": "CopyFromODBC",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<ODBC input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "OdbcSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Yazılan kaynağı kullanıyorsanız RelationalSource , yine de olduğu gibi desteklenir, ancak bundan sonra yenisini kullanmanız önerilir.

Havuz olarak ODBC

ODBC uyumlu veri deposuna veri kopyalamak için kopyalama etkinliğindeki havuz türünü OdbcSink olarak ayarlayın. Kopyalama etkinliği havuzu bölümünde aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
type Kopyalama etkinliği havuzu type özelliği şu şekilde ayarlanmalıdır: OdbcSink Evet
writeBatchTimeout Zaman aşımına uğramadan önce toplu ekleme işleminin tamamlanması için bekleme süresi.
İzin verilen değerler şunlardır: zaman aralığı. Örnek: "00:30:00" (30 dakika).		 No
writeBatchSize Arabellek boyutu writeBatchSize değerine ulaştığında SQL tablosuna veri ekler.
İzin verilen değerler şunlardır: tamsayı (satır sayısı).		 Hayır (varsayılan değer 0 - otomatik algılandı)
preCopyScript Her çalıştırmada veri deposuna veri yazmadan önce yürütülecek Kopyalama Etkinliği için bir SQL sorgusu belirtin. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanabilirsiniz. No

Dekont

"writeBatchSize" için ayarlanmadıysa (otomatik algılandı), kopyalama etkinliği önce sürücünün toplu işlemleri destekleyip desteklemediğini algılar ve destekliyorsa 10000 olarak ayarlar veya ayarlamıyorsa 1 olarak ayarlar. Değeri 0 dışında açıkça ayarlarsanız, kopyalama etkinliği değeri kabul eder ve sürücü toplu işlemleri desteklemiyorsa çalışma zamanında başarısız olur.

Örnek:

"activities":[
    {
        "name": "CopyToODBC",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<ODBC output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "OdbcSink",
                "writeBatchSize": 100000
            }
        }
    }
]

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

Bağlantı sorunlarını giderme

Bağlantı sorunlarını gidermek için Integration Runtime Configuration Manager'ın Tanılama sekmesini kullanın.

  1. Integration Runtime Configuration Manager'ı başlatın.
  2. Tanılama sekmesine geçin.
  3. "Test Bağlan ion" bölümünde veri deposunun türünü (bağlı hizmet) seçin.
  4. Veri deposuna bağlanmak için kullanılan bağlantı dizesi belirtin, kimlik doğrulamasınıseçin ve kullanıcı adı, parola ve/veya kimlik bilgilerini girin.
  5. Veri deposu bağlantısını test etmek için Bağlantıyı test et'e tıklayın.

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . desteklenen veri depoları.