Share via

Tabela do Hive

  • Artigo

Este artigo mostra como importar uma tabela do Hive do armazenamento em nuvem para o Azure Databricks usando uma tabela externa.

Passo 1: Mostrar a CREATE TABLE instrução

Emita um comando na linha de SHOW CREATE TABLE <tablename> comando do Hive para ver a instrução que criou a tabela.

hive> SHOW CREATE TABLE wikicc;
OK
CREATE  TABLE `wikicc`(
  `country` string,
  `count` int)
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  '<path-to-table>'
TBLPROPERTIES (
  'totalSize'='2335',
  'numRows'='240',
  'rawDataSize'='2095',
  'COLUMN_STATS_ACCURATE'='true',
  'numFiles'='1',
  'transient_lastDdlTime'='1418173653')

Passo 2: Emitir uma CREATE EXTERNAL TABLE declaração

Se a instrução retornada usar um CREATE TABLE comando, copie a instrução e substitua CREATE TABLE por CREATE EXTERNAL TABLE.

  • EXTERNAL garante que o Spark SQL não exclua seus dados se você soltar a tabela.
  • Você pode omitir o TBLPROPERTIES campo.
DROP TABLE wikicc

CREATE EXTERNAL TABLE `wikicc`(
  `country` string,
  `count` int)
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  '<path-to-table>'

Etapa 3: Emitir comandos SQL em seus dados

SELECT * FROM wikicc