HDFS 文件目标HDFS File Destination

适用于:Applies to: 是SQL ServerSQL Server(所有支持的版本)yesSQL ServerSQL Server (all supported versions) 是 Azure 数据工厂中的 SSIS Integration RuntimeSSIS Integration Runtime in Azure Data Factoryyes Azure 数据工厂中的 SSIS Integration RuntimeSSIS Integration Runtime in Azure Data Factory适用于:Applies to: 是SQL ServerSQL Server(所有支持的版本)yesSQL ServerSQL Server (all supported versions) 是 Azure 数据工厂中的 SSIS Integration RuntimeSSIS Integration Runtime in Azure Data Factoryyes Azure 数据工厂中的 SSIS Integration RuntimeSSIS Integration Runtime in Azure Data Factory

“HDFS 文件目标”组件允许 SSIS 包将数据写入 HDFS 文件。The HDFS File Destination component enables an SSIS package to write data to a HDFS file. 支持的文件格式:文本、Avro 和 ORC。The supported file formats are Text, Avro, and ORC.

若要配置“HDFS 文件目标”,请将“HDFS 文件源”拖放到数据流设计器中,然后双击该组件打开编辑器。To configure the HDFS File Destination, drag and drop the HDFS File Source on the data flow designer and double-click the component to open the editor.

HDFS 文件目标编辑器HDFS File Destination Editor

选项Options

在“Hadoop 文件目标编辑器” **** 对话框的“常规” **** 选项卡上配置以下选项。Configure the following options on the General tab of the Hadoop File Destination Editor dialog box.

字段Field 说明Description
Hadoop 连接Hadoop Connection 指定现有的一个 Hadoop 连接管理器,或新建一个 Hadoop 连接管理器。Specify an existing Hadoop Connection Manager or create a new one. 此连接管理器指明 HDFS 文件的托管位置。This connection manager indicates where the HDFS files are hosted.
文件路径File Path 指定 HDFS 文件的文件名。Specify the name of the HDFS file.
文件格式File format 指定 HDFS 文件的格式。Specify the format for the HDFS file. 可用选项包括“文本”、“Avro”和“ORC”。The available options are Text, Avro, and ORC.
列分隔符字符Column delimiter character 如果你选择文本格式,请指定列分隔符字符。If you select Text format, specify the column delimiter character.
第一个数据行中的列名称Column names in the first data row 如果你选择文本格式,请指定文件中的第一行是否包含列名称。If you select Text format, specify whether the first row in the file contains column names.

配置这些选项后,选择“列” **** 选项卡,将源列映射到数据流中的目标列。After you configure these options, select the Columns tab to map source columns to destination columns in the data flow.

ORC 文件格式的先决条件Prerequisite for ORC File Format

使用 ORC 文件格式时需要 Java。Java is required to use ORC file format. Java 版本的体系结构(32/64 位)应与要使用的 SSIS 运行时的体系结构一致。Architecture (32/64-bit) of the Java build should match that of the SSIS runtime to use. 已测试以下 Java 版本。The following Java builds have been tested.

安装 Zulu OpenJDKSet Up Zulu's OpenJDK

  1. 下载并提取安装 zip 包。Download and extract the installation zip package.
  2. 从命令提示符处,运行 sysdm.cplFrom the Command Prompt, run sysdm.cpl.
  3. 在“高级”选项卡上,选择“环境变量” 。On the Advanced tab, select Environment Variables.
  4. 在“系统变量”部分中,选择“新建” 。Under the System variables section, select New.
  5. 输入变量名称 JAVA_HOMEEnter JAVA_HOME for the Variable name.
  6. 选择“浏览目录”,导航到已提取的文件夹,然后选择 jre 子文件夹 。Select Browse Directory, navigate to the extracted folder, and select the jre subfolder. 然后选择“确定”,“变量值”将自动进行填充 。Then select OK, and the Variable value is populated automatically.
  7. 选择“确定”,关闭“新建系统变量”对话框 。Select OK to close the New System Variable dialog box.
  8. 选择“确定”,关闭“环境变量”对话框 。Select OK to close the Environment Variables dialog box.
  9. 选择“确定”以关闭“系统属性”对话框 。Select OK to close the System Properties dialog box.

安装 Oracle Java SE 运行时环境Set Up Oracle's Java SE Runtime Environment

  1. 下载并运行 exe 安装程序。Download and run the exe installer.
  2. 按照安装程序说明完成安装。Follow the installer instructions to complete setup.

另请参阅See Also

Hadoop 连接管理器Hadoop Connection Manager
HDFS 文件源HDFS File Source