怎么在Python中实现HIVE的UDF函数
本篇文章给大家分享的是有关怎么在Python中实现HIVE的UDF函数，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。
为和田县等地区用户提供了全套网页设计制作服务，及和田县网站建设行业解决方案。主营业务为做网站、网站建设、和田县网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！
简单来做个介绍
select * from(select * from table where dt='2021-03-30')a
可以写成
with a as (select * from table where dt='2021-03-30' ) select * from a
简单的SQL看不出这样的优势(甚至有点多此一举)，但是当逻辑复杂了之后我们就能看出这种语法的优势，他能从底层抽取中间表格，让我们只专注于当前使用的表格，进而可以将复杂的处理逻辑分解成简单的步骤。
如下面地表格记录了用户适用app过程中每个行为日志地时间戳，我们想统计一下用户今天用了几次app，以及每次的起始时间和结束时间是什么时候，这个问题怎么解呢?
SQL实现方式
首先用with as 构建一个中间表(注意看on 和 where条件)
with t1 as (select x.uid, case when x.rank=1 then y.timestamp_ms else x.timestamp_ms end as start_time, case when x.rank=1 then x.timestamp_ms else y.timestamp_ms end as end_time from (select uid, timestamp_ms, row_number()over(partition by uid order by timestamp_ms) rank from tmp.tmpx) x left outer join (select uid, timestamp_ms, row_number()over(partition by uid order by timestamp_ms) rank from tmp.tmpx) y on x.uid=y.uid and x.rank=y.rank-1 where x.rank=1 or y.rank is null or y.timestamp_ms-x.timestamp_ms>=300)
首先我们用开窗函数错位相减，用where条件筛选出我们需要的列，其中
x.rank=1 抽取出第一行
y.rank is null 抽取最后一样
y.timestamp_ms-x.timestamp_ms>=300抽取满足条件的行，如下：
当然这个结果并不是我们要的结果，需要将上述表格中某一行数据的end-time和下一条数据的start-time结合起来起来，构造出时间段
好的，按照上面我们所说的那么下面我们不用关心底层的逻辑，将注意力专注于这张中间表t1
select a.uid,end_time as start_time,start_time as end_time from (select uid,start_time,row_number()over(partition by uid order by start_time) as rank from t1) a join (select uid,end_time,row_number()over(partition by uid order by end_time) as rank from t1)b on a.uid=b.uid and a.rank=b.rank+1
同样，排序后错位相减，然后就可以打完收工了~
UDF实现方式
首先我们假设上述数据存储在csv中，
用python 处理本地文件data.csv，按照python的处理方式写代码(这里就不一句句解释了，会python的同学可以跳过，不会的同学不妨自己动手写一下)
def life_cut(files): f=open(files) act_list=[] act_dict={} for line in f: line_list=line.strip().split() key=tuple(line_list[0:1]) if key not in act_dict: act_dict.setdefault(key,[]) act_dict[key].append(line_list[1]) else: act_dict[key].append(line_list[1]) for k,v in act_dict.items(): k_str=k[0]+"\t" start_time = v[0] last_time=v[0] i=1 while i=300: print(k_str+"\t"+start_time+"\t"+v[i-1]) start_time=v[i] last_time = v[i] i=i+1 else: last_time = v[i] i=i+1 print(k_str+"\t"+start_time+"\t"+v[len(v)-1]) # print(k_str + "\t" + start_time + "\t" + v[i]) if __name__=="__main__": life_cut("data.csv") 得到结果如下：
那么下面我们将上述函数写成udf的形式：
#!/usr/bin/env python # -*- encoding:utf-8 -*- import sys act_list=[] act_dict={} for line in sys.stdin: line_list=line.strip().split("\t") key=tuple(line_list[0:1]) if key not in act_dict: act_dict.setdefault(key,[]) act_dict[key].append(line_list[1]) else: act_dict[key].append(line_list[1]) for k,v in act_dict.items(): k_str=k[0]+"\t" start_time = v[0] last_time=v[0] i=1 while i=300: print(k_str+"\t"+start_time+"\t"+v[i-1]) start_time=v[i] last_time = v[i] i=i+1 else: last_time = v[i] i=i+1 print(k_str+"\t"+start_time+"\t"+v[len(v)-1]) 这个变化过程的关键点是将 for line in f 替换成 for line in sys.stdin，其他基本上没什么变化
然后我们再来引用这个函数
先add这个函数的路径add file /xxx/life_cut.py 加载udf路径，然后再使用
select TRANSFORM (uid,timestamp_ms) USING "python life_cut.py" as (uid,start_time,end_time) from tmp.tmpx
以上就是怎么在Python中实现HIVE的UDF函数，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。
当前名称：怎么在Python中实现HIVE的UDF函数
当前网址：http://cdiso.cn/article/ihgihe.html
