Hive常用函数总结

1.length：返回字符串的长度
2.reverse：字符串的反转，和java中StringBuffer、StringBuidler类似。
3.concat：字符串拼接


4.concat_ws：带分隔符拼接
# hive>select concat_ws(',','ww','ss','xx') from temp_dual  limit 1;
# 结果：ww,ss,xx


5.substr/substring：截取
# 格式：substr(string str,start_num)
# 从指定位置开始截取 substr(string str,int start_num,int str_length)
# 从指定位置开始，截取str_length长的字符串：hive> select substring('aabbcc',3) from lxw_dual;
# 结果：bbcc
# hive>  selectsubstr('aabbcd',-1) from lxw_dual; （和ORACLE相同）
# 结果：d
# hive> select substr('aabbcc',3,2) from lxw_dual;
# 结果：bb
# hive>select substring('aabbcc',-2,2) from lxw_dual;
# 结果：cc


5.upper/ucase：将字符串转换为大写
6.lower/lcase：将字符串转换为小写


7.trim：去掉字符串开头和末尾的空格
# hive>select trim('   fds   fsd   ') from temp_dual limit 1;
# 结果：fds   fsd
# ltrim：去掉字符串左边的空格
# rtrim：去掉字符串右边的空格


8.regexp_replace
# 格式：regexp_replace(str1,str2,str3)
# hive>select regexp_replace('aabbcc','cc','00') from temp_dual limit 1;
# 结果：aabb00


9.regexp_extract，返回正则表达式的拆分规则
# hive> select regexp_extract('aa0bb', 'aa(.*?)(bb)', 1) from lxw_dual;
# 结果：0


10.parse_url
# 说明：返回URL中指定的部分。partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.
# hive> select parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST') from lxw_dual;
# 结果：facebook.com
# hive> selectparse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'QUERY','k1') from temp_dual;
# 结果：v1


11.get_json_object
# 解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效，那么返回NULL。
# hive> select  get_json_object('{"store":
        {"fruit":\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}],
         "bicycle":{"price":19.95,"color":"red"} },
         "email":"amy@only_for_json_udf_test.net",
         "owner":"amy"
       } ','$.owner') from lxw_dual;
#  结果：amy


12.空格字符串函数space
# hive>select length(space(10)) from temp_dual limit 1;
# 结果：10


13.将字符串重复n次后输出repeat
# hive>select repeat('abc',5) from temp_dual;
# 结果：abcabcabcabcabc


14.返回字符串str第一个字符的ascii码 ascii
# hive> select ascii('abcdefg') from temp_dual;
# 结果：97


15.左补齐lpad
# hive> select lpad('aaa',10,'b') from temp_dual;
# 结果：bbbbbbbaaa


16.右补齐rpad
# hive> select rpad('aaa',10,'b') from temp_dual;
# 结果：aaabbbbbbb


17.split
# hive>select split('aatbbtcctdd','t') from temp_dual limit 1;
# 结果：['aa','bb',' cc','dd']
# 总结：形如Java中的字符串切割规则。按照t将字符串进行分割。


18.find_in_set
# 返回str在strlist第一次出现的位置，strlist是用逗号分割的字符串。如果没有找该str字符，则返回0;
# hive> select find_in_set('bb','aa,bb,cc') from temp_dual;
# 结果：2
# hive> select find_in_set('at','aa,bb,cc') from temp_dual;
# 结果：0

1.count：统计条数


2.sum：求和


3.avg：求平均数


4.min：最小数


5.max：最大数


6.var_pop 统计结果集中col非空集合的总体变量（忽略null）


7.var_samp 统计结果集中col非空集合的样本变量（忽略null）


8.stddev_pop 该函数计算总体标准偏离，并返回总体变量的平方根，其返回值与VAR_POP函数的平方根相同


9.stddev_samp 该函数计算样本标准偏离


10.percentile 求准确的第pth个百分位数，p必须介于0和1之间，但是col字段目前只支持整数，不支持浮点数类型


11.percentile_approx 求近似的第pth个百分位数，p必须介于0和1之间，返回类型为double，但是col字段支持浮点类型。参数B控制内存消耗的近似精度，B越大，结果的准确度越高。默认为10,000。当col字段中的distinct值的个数小于B时，结果为准确的百分位数


12.histogram_numeric 以b为基准计算col的直方图信息。

1.map类型的构建：map
# hive> Create table temp_test as select map('100','tom','200','mary') as mp from temp_dual  limit 1 ;
# hive> describe temp_test;
# 输出：mp  map<string,string>
# hive> select mp from temp_test;
# 输出：{"100":"tom","200":"mary"}


2.Struct类型构建: struct
# hive> create table temp_test as select struct('tom','mary','tim')as  from temp_dual;
# hive> describe temp_test;
# 输出：mp struct<col1:string,col2:string,col3:string>
# hive> select t from temp_test;
# 输出：{"col1":"tom","col2":"mary","col3":"tim"}


3.array类型构建: array
# hive> create table temp_test as selectarray("tom","mary","tim") as mp from temp_dual;
# hive> describe temp_test;
# 输出：mp array<string>
# hive> select t from temp_test;
# 输出：["tom","mary","tim"]

1.array类型访问: A[n]
# 返回数组A中的第n个变量值。数组的起始下标为0
# hive> create table temp_test as selectarray("tom","mary","tim") as t from temp_dual;
# hive> select t[0],t[1],t[2] from temp_test;
# 输出：tom   mary  tim


2.map类型访问: M[key]
# hive> select mp['200'],mp['100'] from temp_test;
# mary    tom


3.truct类型访问: S.x
# hive> select mp.col1,mp.col3 from lxw_test;
# 输出：tom tim