Hadoop 연결 관리자Hadoop Connection Manager

SSIS(SQL Server Integration Services) 패키지는 Hadoop 연결 관리자를 통해 속성에 대해 지정된 값을 사용하여 Hadoop 클러스터에 연결할 수 있습니다.The Hadoop Connection Manager enables a SQL Server Integration Services (SSIS) package to connect to a Hadoop cluster, by using the values you specify for the properties.

Hadoop 연결 관리자 구성Configure the Hadoop Connection Manager

  1. SSIS 연결 관리자 추가 대화 상자에서 Hadoop > 추가를 선택합니다.In the Add SSIS Connection Manager dialog box, select Hadoop > Add. Hadoop 연결 관리자 편집기 대화 상자가 열립니다.The Hadoop Connection Manager Editor dialog box opens.

  2. 관련 Hadoop 클러스터 정보를 구성하려면 왼쪽 창에서 WebHCat 또는 WebHDFS 탭을 선택합니다.To configure related Hadoop cluster information, choose the WebHCat or WebHDFS tab in the left pane.

  3. Hadoop에서 하이브 또는 Pig 작업을 호출하기 위해 WebHCat 옵션을 사용하도록 설정하는 경우에는 다음 단계를 수행합니다.If you enable the WebHCat option to invoke a Hive or Pig job on Hadoop, do the following:

    1. WebHCat 호스트에는 WebHCat 서비스를 호스트하는 서버를 입력합니다.For WebHCat Host, enter the server that hosts the WebHCat service.

    2. WebHCat 포트에는 WebHCat 서비스의 포트(기본값: 50111)를 입력합니다.For WebHCat Port, enter the port of the WebHCat service, which by default is 50111.

    3. WebHCat 서비스에 액세스하는 데 사용할 인증 방법을 선택합니다.Select the Authentication method for accessing the WebHCat service. 사용 가능한 값은 기본Kerberos입니다.The available values are Basic and Kerberos.

      기본 인증을 사용하는 Hadoop 연결 관리자 편집기의 스크린샷Screenshot of Hadoop Connection Manager Editor with basic authentication

      Kerberos 인증을 사용하는 Hadoop 연결 관리자 편집기의 스크린샷Screenshot of Hadoop Connection Manager Editor with Kerberos authentication

    4. WebHCat 사용자에는 WebHCat 액세스 권한이 있는 사용자 를 입력합니다.For WebHCat User, enter the User authorized to access WebHCat.

    5. Kerberos 인증을 선택하는 경우 사용자의 암호도메인을 입력합니다.If you select Kerberos authentication, enter the user's Password and Domain.

  4. HDFS에서/HDFS로 데이터를 복사하기 위해 WebHDFS 옵션을 사용하도록 설정하는 경우에는 다음 단계를 수행합니다.If you enable the WebHDFS option to copy data from or to HDFS, do the following:

    1. WebHDFS 호스트에는 WebHDFS 서비스를 호스트하는 서버를 입력합니다.For WebHDFS Host, enter the server that hosts the WebHDFS service.

    2. WebHDFS 포트에는 WebHDFS 서비스의 포트(기본값: 50070)를 입력합니다.For WebHDFS Port, enter the port of the WebHDFS service, which by default is 50070.

    3. WebHDFS 서비스에 액세스하는 데 사용할 인증 방법을 선택합니다.Select the Authentication method for accessing the WebHDFS service. 사용 가능한 값은 기본Kerberos입니다.The available values are Basic and Kerberos.

    4. WebHDFS 사용자에는 HDFS 액세스 권한이 있는 사용자를 입력합니다.For WebHDFS User, enter the user authorized to access HDFS.

    5. Kerberos 인증을 선택하는 경우 사용자의 암호도메인을 입력합니다.If you select Kerberos authentication, enter the user's Password and Domain.

  5. 연결 테스트를 선택합니다.Select Test Connection. 사용하도록 설정한 연결만 테스트합니다.(Only the connection that you enabled is tested.)

  6. 확인을 선택하여 대화 상자를 닫습니다.Select OK to close the dialog box.

Kerberos 인증을 사용하여 연결Connect with Kerberos authentication

Hadoop 연결 관리자에 Kerberos 인증을 사용할 수 있도록 온-프레미스 환경을 설정하는 옵션은 두 가지이며,There are two options to set up the on-premises environment so you can use Kerberos authentication with the Hadoop Connection Manager. 상황에 더 적합한 옵션을 선택하면 됩니다.You can choose the option that better fits your circumstances.

옵션 1: Kerberos 영역에 SSIS 컴퓨터 조인Option 1: Join the SSIS computer to the Kerberos realm

요구 사항:Requirements:

  • 게이트웨이 컴퓨터가 Kerberos 영역을 조인해야 하며 Windows 도메인은 조인할 수 없습니다.The gateway computer needs to join the Kerberos realm, and can’t join any Windows domain.

구성 방법:How to configure:

SSIS 컴퓨터에서 다음을 수행합니다.On the SSIS computer:

  1. Ksetup 유틸리티를 실행하여 KDC(Kerberos 키 배포 센터) 서버 및 영역을 구성합니다.Run the Ksetup utility to configure the Kerberos Key Distribution Center (KDC) server and realm.

    Kerberos 영역은 Windows 도메인과 다르므로 컴퓨터가 작업 그룹의 구성원으로 구성되어 있어야 합니다.The computer must be configured as a member of a workgroup, because a Kerberos realm is different from a Windows domain. 다음 예제와 같이 Kerberos 영역을 설정하고 KDC 서버를 추가합니다.Set the Kerberos realm and add a KDC server, as shown in the following example. 필요에 따라 REALM.COM을 해당하는 고유한 영역으로 바꿉니다.Replace REALM.COM with your own respective realm, as needed.

    C:> Ksetup /setdomain REALM.COM`
    C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
    

    이러한 명령을 실행한 후 컴퓨터를 다시 시작합니다.After running these commands, restart the computer.

  2. Ksetup 명령으로 구성을 확인합니다.Verify the configuration with Ksetup command. 출력이 다음 샘플과 같아야 합니다.The output should look like the following sample:

    C:> Ksetup
    default realm = REALM.COM (external)
    REALM.com:
        kdc = <your_kdc_server_address>
    

옵션 2: Windows 도메인과 Kerberos 영역 간의 상호 신뢰 사용Option 2: Enable mutual trust between the Windows domain and the Kerberos realm

요구 사항:Requirements:

  • 게이트웨이 컴퓨터가 Windows 도메인을 조인해야 합니다.The gateway computer must join a Windows domain.
  • 도메인 컨트롤러의 설정을 업데이트할 수 있는 권한이 필요합니다.You need permission to update the domain controller's settings.

구성 방법:How to configure:

참고

필요에 따라 다음 자습서의 REALM.COMAD.COM을 해당하는 고유한 영역 및 도메인 컨트롤러로 바꿉니다.Replace REALM.COM and AD.COM in the following tutorial with your own respective realm and domain controller, as needed.

KDC 서버에서 다음을 수행합니다.On the KDC server:

  1. krb5.conf 파일에서 KDC 구성을 편집합니다.Edit the KDC configuration in the krb5.conf file. 다음 구성 템플릿을 참조하여 KDC가 Windows 도메인을 신뢰하도록 허용합니다.Allow KDC to trust the Windows domain by referring to the following configuration template. 기본적으로 이 구성은 /etc/krb5.conf에 있습니다.By default, the configuration is located at /etc/krb5.conf.

    [logging]
    default = FILE:/var/log/krb5libs.log
    kdc = FILE:/var/log/krb5kdc.log
    admin_server = FILE:/var/log/kadmind.log
    
    [libdefaults]
    default_realm = REALM.COM
    dns_lookup_realm = false
    dns_lookup_kdc = false
    ticket_lifetime = 24h
    renew_lifetime = 7d
    forwardable = true
    
    [realms]
    REALM.COM = {
        kdc = node.REALM.COM
        admin_server = node.REALM.COM
        }
    AD.COM = {
        kdc = windc.ad.com
        admin_server = windc.ad.com
        }
    
    [domain_realm]
    .REALM.COM = REALM.COM
    REALM.COM = REALM.COM
    .ad.com = AD.COM
    ad.com = AD.COM
    
    [capaths]
    AD.COM = {
        REALM.COM = .
        }
    

    구성 후 KDC 서비스를 다시 시작합니다.Restart the KDC service after configuration.

  2. KDC 서버에서 krbtgt/REALM.COM@AD.COM이라는 보안 주체를 준비합니다.Prepare a principal named krbtgt/REALM.COM@AD.COM on the KDC server. 다음 명령을 사용합니다.Use the following command:

    Kadmin> addprinc krbtgt/REALM.COM@AD.COM

  3. hadoop.security.auth_to_local HDFS 서비스 구성 파일에 RULE:[1:$1@$0](.*@AD.COM)s/@.*//를 추가합니다.In the hadoop.security.auth_to_local HDFS service configuration file, add RULE:[1:$1@$0](.*@AD.COM)s/@.*//.

도메인 컨트롤러에서 다음을 수행합니다.On the domain controller:

  1. 다음 Ksetup 명령을 실행하여 영역 항목을 추가합니다.Run the following Ksetup commands to add a realm entry:

    C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
    C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
    
  2. Windows 도메인과 Kerberos 영역 간의 신뢰를 설정합니다.Establish trust from the Windows domain to the Kerberos realm. 다음 예제에서 [password]는 보안 주체 krbtgt/REALM.COM@AD.COM의 암호입니다.In the following example, [password] is the password for the principal krbtgt/REALM.COM@AD.COM.

    C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]

  3. Kerberos에 사용할 암호화 알고리즘을 선택합니다.Select an encryption algorithm to use with Kerberos.

    1. 서버 관리자 > 그룹 정책 관리 > 도메인으로 이동합니다.Go to Server Manager > Group Policy Management > Domain. 여기에서 그룹 정책 개체 > Default or Active Domain Policy(기본값 또는 활성 도메인 정책) > 편집으로 이동합니다.From there, go to Group Policy Objects > Default or Active Domain Policy > Edit.

    2. 그룹 정책 관리 편집기 팝업 창에서 컴퓨터 구성 > 정책 > Windows 설정으로 이동합니다.In the Group Policy Management Editor pop-up window, go to Computer Configuration > Policies > Windows Settings. 여기에서 보안 설정 > 로컬 정책 > 보안 옵션으로 이동합니다.From there, go to Security Settings > Local Policies > Security Options. 네트워크 보안: Kerberos에 허용된 암호화 유형 구성을 구성합니다.Configure Network security: Configure Encryption types allowed for Kerberos.

    3. KDC에 연결하는 데 사용할 암호화 알고리즘을 선택합니다.Select the encryption algorithm you want to use to connect to the KDC. 일반적으로 모든 옵션을 선택할 수 있습니다.Typically you can select any of the options.

      Kerberos에 대한 암호화 유형의 스크린샷

    4. Ksetup 명령을 사용하여 특정 영역에서 사용할 암호화 알고리즘을 지정합니다.Use the Ksetup command to specify the encryption algorithm to be used on the specific realm.

      C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96

  4. Windows 도메인에서 Kerberos 주체를 사용하려면 도메인 계정과 Kerberos 주체 사이의 매핑을 만듭니다.To use the Kerberos principal in the Windows domain, create the mapping between the domain account and Kerberos principal.

    1. 관리 도구 > Active Directory 사용자 및 컴퓨터로 이동합니다.Go to Administrative tools > Active Directory Users and Computers.

    2. 보기 > 고급 기능을 선택하여 고급 기능을 구성합니다.Configure advanced features by selecting View > Advanced Features.

    3. 매핑을 만들 계정을 찾고 마우스 오른쪽 단추를 클릭하여 이름 매핑을 표시한 다음, Kerberos 이름 탭을 선택합니다.Locate the account to which you want to create mappings, right-click to view Name Mappings, and then select the Kerberos Names tab.

    4. 영역에서 보안 주체를 추가합니다.Add a principal from the realm.

      보안 식별자 매핑 대화 상자의 스크린샷

게이트웨이 컴퓨터에서 다음을 수행합니다.On the gateway computer:

다음 Ksetup 명령을 실행하여 영역 항목을 추가합니다.Run the following Ksetup commands to add a realm entry.

```
C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
```

관련 항목:See also

Hadoop 하이브 태스크 Hadoop Hive Task
Hadoop Pig 태스크 Hadoop Pig Task
Hadoop 파일 시스템 태스크Hadoop File System Task