Gestione connessione HadoopHadoop Connection Manager

Gestione connessione Hadoop consente al pacchetto SQL Server Integration Services (SSIS) di connettersi a un cluster Hadoop usando i valori specificati per le proprietà.The Hadoop Connection Manager enables a SQL Server Integration Services (SSIS) package to connect to a Hadoop cluster, by using the values you specify for the properties.

Configurare la gestione connessione HadoopConfigure the Hadoop Connection Manager

  1. Nella finestra di dialogo Aggiungi gestione connessione SSIS selezionare Hadoop > Aggiungi.In the Add SSIS Connection Manager dialog box, select Hadoop > Add. Verrà visualizzata la finestra di dialogo Editor gestione connessione Hadoop .The Hadoop Connection Manager Editor dialog box opens.

  2. Per configurare le informazioni del cluster Hadoop correlate, scegliere la scheda WebHCat o WebHDFS nel riquadro a sinistra.To configure related Hadoop cluster information, choose the WebHCat or WebHDFS tab in the left pane.

  3. Se si abilita l'opzione WebHCat per richiamare un processo Hive o Pig in Hadoop, seguire questa procedura:If you enable the WebHCat option to invoke a Hive or Pig job on Hadoop, do the following:

    1. Per Host WebHCat, immettere il server che ospita il servizio WebHCat.For WebHCat Host, enter the server that hosts the WebHCat service.

    2. Per Porta WebHCat, immettere la porta del servizio WebHCat, che per impostazione predefinita è 50111.For WebHCat Port, enter the port of the WebHCat service, which by default is 50111.

    3. Selezionare il metodo di Autenticazione per accedere al servizio WebHCat.Select the Authentication method for accessing the WebHCat service. I valori disponibili sono Base e Kerberos.The available values are Basic and Kerberos.

      Screenshot di Editor gestione connessione Hadoop con autenticazione di baseScreenshot of Hadoop Connection Manager Editor with basic authentication

      Screenshot di Editor gestione connessione Hadoop con autenticazione KerberosScreenshot of Hadoop Connection Manager Editor with Kerberos authentication

    4. Per Utente WebHCatimmettere l' Utente autorizzato ad accedere a WebHCat.For WebHCat User, enter the User authorized to access WebHCat.

    5. Se si seleziona l'autenticazione Kerberos , immettere la Password e il Dominiodell'utente.If you select Kerberos authentication, enter the user's Password and Domain.

  4. Se si abilita l'opzione WebHDFS per copiare i dati da o a HDFS, seguire questa procedura:If you enable the WebHDFS option to copy data from or to HDFS, do the following:

    1. Per Host WebHDFS, immettere il server che ospita il servizio WebHDFS.For WebHDFS Host, enter the server that hosts the WebHDFS service.

    2. Per Porta WebHDFS, immettere la porta del servizio WebHDFS, che per impostazione predefinita è 50070.For WebHDFS Port, enter the port of the WebHDFS service, which by default is 50070.

    3. Selezionare il metodo di Autenticazione per accedere al servizio WebHDFS.Select the Authentication method for accessing the WebHDFS service. I valori disponibili sono Base e Kerberos.The available values are Basic and Kerberos.

    4. Per Utente WebHDFSimmettere l'utente autorizzato ad accedere a HDFS.For WebHDFS User, enter the user authorized to access HDFS.

    5. Se si seleziona l'autenticazione Kerberos , immettere la Password e il Dominiodell'utente.If you select Kerberos authentication, enter the user's Password and Domain.

  5. Selezionare Test connessione.Select Test Connection. (verrà testata solo la connessione abilitata).(Only the connection that you enabled is tested.)

  6. Fare clic su OK per chiudere la finestra di dialogo.Select OK to close the dialog box.

Connettersi con l'autenticazione KerberosConnect with Kerberos authentication

Esistono due opzioni per configurare l'ambiente locale per poter usare l'autenticazione Kerberos con Gestione connessione Hadoop.There are two options to set up the on-premises environment so you can use Kerberos authentication with the Hadoop Connection Manager. È possibile scegliere l'opzione che meglio si adatta alle circostanze.You can choose the option that better fits your circumstances.

Opzione 1: Aggiungere il computer SSIS all'area di autenticazione KerberosOption 1: Join the SSIS computer to the Kerberos realm

Requisiti:Requirements:

  • Il computer gateway deve fare parte dell'area di autenticazione Kerberos e non può fare parte di domini Windows.The gateway computer needs to join the Kerberos realm, and can’t join any Windows domain.

Modalità di configurazione:How to configure:

Nel computer SSIS:On the SSIS computer:

  1. Eseguire l'utilità Ksetup per configurare l'area di autenticazione e il server Centro distribuzione chiavi (KDC) Kerberos.Run the Ksetup utility to configure the Kerberos Key Distribution Center (KDC) server and realm.

    Il computer deve essere configurato come membro di un gruppo di lavoro, perché un'area di distribuzione Kerberos è diversa da un dominio Windows.The computer must be configured as a member of a workgroup, because a Kerberos realm is different from a Windows domain. Impostare l'area di autenticazione Kerberos e aggiungere un server KDC, come illustrato nell'esempio seguente.Set the Kerberos realm and add a KDC server, as shown in the following example. Sostituire REALM.COM con la propria rispettiva area di autenticazione, se necessario.Replace REALM.COM with your own respective realm, as needed.

    C:> Ksetup /setdomain REALM.COM`
    C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
    

    Dopo aver eseguito questi comandi, riavviare il computer.After running these commands, restart the computer.

  2. Verificare la configurazione con il comando Ksetup.Verify the configuration with Ksetup command. L'output sarà simile a quello contenuto nell'esempio seguente:The output should look like the following sample:

    C:> Ksetup
    default realm = REALM.COM (external)
    REALM.com:
        kdc = <your_kdc_server_address>
    

Opzione 2: Abilitare il trust reciproco tra il dominio Windows e l'area di autenticazione KerberosOption 2: Enable mutual trust between the Windows domain and the Kerberos realm

Requisiti:Requirements:

  • Il computer gateway deve fare parte di un dominio Windows.The gateway computer must join a Windows domain.
  • È necessaria l'autorizzazione per aggiornare le impostazioni del controller di dominio.You need permission to update the domain controller's settings.

Modalità di configurazione:How to configure:

Nota

Sostituire REALM.COM e AD.COM nell'esercitazione seguente con la propria area di autenticazione e il proprio controller di dominio, se necessario.Replace REALM.COM and AD.COM in the following tutorial with your own respective realm and domain controller, as needed.

Nel server KDC:On the KDC server:

  1. Modificare la configurazione KDC nel file krb5.conf.Edit the KDC configuration in the krb5.conf file. Consentire a KDC di considerare attendibile il dominio Windows facendo riferimento al modello di configurazione seguente.Allow KDC to trust the Windows domain by referring to the following configuration template. Per impostazione predefinita, la configurazione si trova in /etc/krb5.conf.By default, the configuration is located at /etc/krb5.conf.

    [logging]
    default = FILE:/var/log/krb5libs.log
    kdc = FILE:/var/log/krb5kdc.log
    admin_server = FILE:/var/log/kadmind.log
    
    [libdefaults]
    default_realm = REALM.COM
    dns_lookup_realm = false
    dns_lookup_kdc = false
    ticket_lifetime = 24h
    renew_lifetime = 7d
    forwardable = true
    
    [realms]
    REALM.COM = {
        kdc = node.REALM.COM
        admin_server = node.REALM.COM
        }
    AD.COM = {
        kdc = windc.ad.com
        admin_server = windc.ad.com
        }
    
    [domain_realm]
    .REALM.COM = REALM.COM
    REALM.COM = REALM.COM
    .ad.com = AD.COM
    ad.com = AD.COM
    
    [capaths]
    AD.COM = {
        REALM.COM = .
        }
    

    Dopo la configurazione, riavviare il servizio KDC.Restart the KDC service after configuration.

  2. Preparare un'entità di sicurezza denominata krbtgt/REALM.COM@AD.COM nel server KDC.Prepare a principal named krbtgt/REALM.COM@AD.COM on the KDC server. Usare il comando seguente:Use the following command:

    Kadmin> addprinc krbtgt/REALM.COM@AD.COM

  3. Nel file di configurazione del servizio HDFS hadoop.security.auth_to_local aggiungere RULE:[1:$1@$0](.*@AD.COM)s/@.*//.In the hadoop.security.auth_to_local HDFS service configuration file, add RULE:[1:$1@$0](.*@AD.COM)s/@.*//.

Nel controller di dominio:On the domain controller:

  1. Eseguire i comandi Ksetup seguenti per aggiungere una voce dell'area di autenticazione:Run the following Ksetup commands to add a realm entry:

    C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
    C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
    
  2. Stabilire il trust dal dominio Windows all'area di autenticazione Kerberos.Establish trust from the Windows domain to the Kerberos realm. Nell'esempio seguente [password] è la password per l'entità di sicurezza krbtgt/REALM.COM@AD.COM.In the following example, [password] is the password for the principal krbtgt/REALM.COM@AD.COM.

    C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]

  3. Selezionare un algoritmo di crittografia da usare con Kerberos.Select an encryption algorithm to use with Kerberos.

    1. Andare a Server Manager > Gestione Criteri di gruppo > Dominio.Go to Server Manager > Group Policy Management > Domain. Andare quindi a Oggetti Criteri di gruppo > Default or Active Domain Policy (Criteri dominio predefiniti o attivi) > Modifica.From there, go to Group Policy Objects > Default or Active Domain Policy > Edit.

    2. Nella finestra popup Editor Gestione Criteri di gruppo andare a Configurazione computer > Criteri > Impostazioni di Windows.In the Group Policy Management Editor pop-up window, go to Computer Configuration > Policies > Windows Settings. Andare quindi a Impostazioni di sicurezza > Criteri locali > Opzioni di sicurezza.From there, go to Security Settings > Local Policies > Security Options. Configurare Sicurezza di rete: configura tipi di crittografia consentiti per Kerberos.Configure Network security: Configure Encryption types allowed for Kerberos.

    3. Selezionare l'algoritmo di crittografia che si vuole usare per connettersi al Centro distribuzione chiavi.Select the encryption algorithm you want to use to connect to the KDC. È in genere possibile selezionare qualsiasi opzione.Typically you can select any of the options.

      Screenshot dei tipi di crittografia per Kerberos

    4. Usare il comando Ksetup per specificare l'algoritmo di crittografia da usare nell'area di autenticazione specifica.Use the Ksetup command to specify the encryption algorithm to be used on the specific realm.

      C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96

  4. Per usare l'entità di sicurezza Kerberos nel dominio Windows, creare il mapping tra l'account di dominio e l'entità di sicurezza Kerberos.To use the Kerberos principal in the Windows domain, create the mapping between the domain account and Kerberos principal.

    1. Andare a Strumenti di amministrazione > Utenti e computer di Active Directory.Go to Administrative tools > Active Directory Users and Computers.

    2. Configurare le funzionalità avanzate selezionando Visualizza > Funzionalità avanzate.Configure advanced features by selecting View > Advanced Features.

    3. Individuare l'account a cui si vuole creare i mapping, fare clic con il pulsante destro del mouse per visualizzare Mapping nomi e quindi scegliere la scheda Nomi Kerberos.Locate the account to which you want to create mappings, right-click to view Name Mappings, and then select the Kerberos Names tab.

    4. Aggiungere un'entità di sicurezza dall'area di autenticazione.Add a principal from the realm.

      Screenshot della finestra di dialogo Mapping identità di sicurezza

Nel computer del gateway:On the gateway computer:

Eseguire i comandi Ksetup seguenti per aggiungere una voce dell'area di autenticazione.Run the following Ksetup commands to add a realm entry.

```
C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
```

Vedere ancheSee also

Attività Hive Hadoop Hadoop Hive Task
Attività Pig Hadoop Hadoop Pig Task
Attività File system HadoopHadoop File System Task