HiveSQL DML动态分区

2.6动态分区模式（让分区成为变量）
脚本模板

INSERT OVERWRITE TABLE tablename
PARTITION (partcol1[=var1], partcol2[=var2] ...) select_statement FROM from_statement

设置非严格模式

set hive.exec.dynamic.partition.mode=nonstric;

样例
有新表 student_outer，即新来的外部学生表，有若干学生数据，与student 表结构完全相同。
将 student_outer 表的多个分区数据，一次性插入到 student 表中。
数据准备
创建新表 student_outer 与之前的 student 结构完全一致

CREATE	TABLE student_outer( 
id string comment \' 学 号 \', 
username string comment \'姓名\', 
classid int comment \'班级id\',
classname string comment \'班级名称\') comment \'学生信息主表\'
partitioned by (come_date string comment \'按入学年份分区\') 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY \'\\t\' 
LINES TERMINATED BY \'\\n\'
STORED AS textfile;

装载数据

LOAD DATA LOCAL INPATH \'./student.txt\' OVERWRITE INTO TABLE student_outer PARTITION (come_date=20171120);
LOAD DATA LOCAL INPATH \'./student.txt\' OVERWRITE INTO TABLE student_outer PARTITION (come_date=20171121);
LOAD DATA LOCAL INPATH \'./student.txt\' OVERWRITE INTO TABLE student_outer PARTITION (come_date=20171122);

查看分区列表

show partitions student_outer;

将 student_outer 表所有数据插入到 student 表

//先**清空**之前的student 表，方便查看效果
truncate table student;
insert overwrite table student partition(come_date) select id,username,classid,classname,come_date from student_outer

2.7将查询结果写入 hdfs 目录
脚本模版

NSERT OVERWRITE [LOCAL] DIRECTORY directory1 SELECT ... FROM ...

样例-默认

数据写入文件系统时进行文本序列化，且每列用^A 来区分，\\n 换行
insert overwrite directory  \"/tmp/output2/\" 
select * from student 
where come_date=\'20170905\';

样例-指定输分隔符

insert overwrite directory \"/tmp/output2/\" 
row format delimited
fields terminated by \'\\t\'
select * from student where come_date=\'20170905\';