Azure Data Factory veya Synapse Analytics kullanarak Impala'dan veri kopyalama

Makale
12/09/2023

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Impala'dan veri kopyalamak için Azure Data Factory veya Synapse Analytics işlem hattında Kopyalama Etkinliği'nin nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir genel bakış sunan Kopyalama Etkinliğine genel bakış makalesini oluşturur.

Desteklenen özellikler

Bu Impala bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler	IR
Kopyalama etkinliği (kaynak/-)	① ②
Arama etkinliği	① ②

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Kopyalama etkinliği tarafından kaynak veya havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Hizmet, bağlantıyı etkinleştirmek için yerleşik bir sürücü sağlar. Bu nedenle, bu bağlayıcıyı kullanmak için bir sürücüyü el ile yüklemeniz gerekmez.

Önkoşullar

Veri deponuz bir şirket içi ağ, Azure sanal ağı veya Amazon Sanal Özel Bulut içinde bulunuyorsa, şirket içinde barındırılan tümleştirme çalışma zamanını buna bağlanmak için yapılandırmanız gerekir.

Veri deponuz yönetilen bir bulut veri hizmetiyse Azure Integration Runtime'ı kullanabilirsiniz. Erişim, güvenlik duvarı kurallarında onaylanan IP'ler ile sınırlıysa Azure Integration Runtime IP'lerini izin verme listesine ekleyebilirsiniz.

Şirket içinde barındırılan tümleştirme çalışma zamanı yüklemeden ve yapılandırmadan şirket içi ağa erişmek için Azure Data Factory'deki yönetilen sanal ağ tümleştirme çalışma zamanı özelliğini de kullanabilirsiniz.

Data Factory tarafından desteklenen ağ güvenlik mekanizmaları ve seçenekleri hakkında daha fazla bilgi için bkz . Veri erişim stratejileri.

Başlarken

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

Kullanıcı arabirimini kullanarak Impala'ya bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Impala'ya bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:
- Azure Data Factory
- Azure Synapse
Impala'yı arayın ve Impala bağlayıcısını seçin.
Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

Bağlan veya yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Impala bağlayıcısına özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Impala bağlı hizmeti için aşağıdaki özellikler desteklenir.

Özellik	Açıklama	Gerekli
type	type özelliği Impala olarak ayarlanmalıdır.	Evet
host	Impala sunucusunun IP adresi veya ana bilgisayar adı (yani, 192.168.222.160).	Evet
port	Impala sunucusunun istemci bağlantılarını dinlemek için kullandığı TCP bağlantı noktası. Varsayılan değer 21050'dir.	No
authenticationType	Kullanılacak kimlik doğrulama türü. İzin verilen değerler Anonim, SASLUsername ve UsernameAndPassword değerleridir.	Evet
username	Impala sunucusuna erişmek için kullanılan kullanıcı adı. SASLUsername kullandığınızda varsayılan değer anonimdir.	No
password	UsernameAndPassword kullandığınızda kullanıcı adına karşılık gelen parola. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin veya Azure Key Vault'ta depolanan bir gizli diziye başvurun.	No
enableSsl	Sunucu bağlantılarının TLS kullanılarak şifrelenip şifrelenmediğini belirtir. Varsayılan değer yanlış değeridir.	No
trustedCertPath	TLS üzerinden bağlandığınızda sunucuyu doğrulamak için kullanılan güvenilen CA sertifikalarını içeren .pem dosyasının tam yolu. Bu özellik yalnızca Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı'nda TLS kullandığınızda ayarlanabilir. Varsayılan değer, tümleştirme çalışma zamanıyla birlikte yüklenen cacerts.pem dosyasıdır.	No
useSystemTrustStore	Sistem güven deposundan veya belirtilen PEM dosyasından CA sertifikası kullanılıp kullanılmayacağını belirtir. Varsayılan değer yanlış değeridir.	No
allowHostNameCNMismatch	TLS üzerinden bağlandığınızda sunucunun ana bilgisayar adıyla eşleşmesi için CA tarafından verilen TLS/SSL sertifika adının gerekip gerekmediğini belirtir. Varsayılan değer yanlış değeridir.	No
allowSelfSignedServerCert	Sunucudan otomatik olarak imzalanan sertifikalara izin verilip verilmeyeceğini belirtir. Varsayılan değer yanlış değeridir.	No
connectVia	Veri deposuna bağlanmak için kullanılacak tümleştirme çalışma zamanı . Önkoşullar bölümünden daha fazla bilgi edinin. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır.	No

Örnek:

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın. Bu bölümde Impala veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Impala'dan veri kopyalamak için veri kümesinin type özelliğini ImpalaObject olarak ayarlayın. Aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
type	Veri kümesinin tür özelliği şu şekilde ayarlanmalıdır: ImpalaObject	Evet
schema	Şemanın adı.	Hayır (etkinlik kaynağında "sorgu" belirtilirse)
table	Tablonun adı.	Hayır (etkinlik kaynağında "sorgu" belirtilirse)
tableName	Şema içeren tablonun adı. Bu özellik geriye dönük uyumluluk için desteklenir. Yeni iş yükü için ve `table` kullanın`schema`.	Hayır (etkinlik kaynağında "sorgu" belirtilirse)

Örnek

{
    "name": "ImpalaDataset",
    "properties": {
        "type": "ImpalaObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Impala linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölümde, Impala kaynak türü tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak türü olarak Impala

Impala'dan veri kopyalamak için kopyalama etkinliğindeki kaynak türünü ImpalaSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir.

Özellik	Açıklama	Gerekli
type	Kopyalama etkinliği kaynağının type özelliği ImpalaSource olarak ayarlanmalıdır.	Evet
query	Verileri okumak için özel SQL sorgusunu kullanın. `"SELECT * FROM MyTable"` bunun bir örneğidir.	Hayır (veri kümesinde "tableName" belirtilirse)