python写udf函数 python odf
Hsql中使用python的UDF
Author：杜七
邗江网站建设公司成都创新互联公司,邗江网站设计制作，有大型网站制作公司丰富经验。已为邗江上1000+提供企业网站建设服务。企业网站搭建\外贸网站建设要多少钱，请找那个售后服务好的邗江做网站的公司定做！
先写一个处理数据的脚本，如下：
保存到test.py中，放在本地的任何地方，比如/home/duqi.yc/scripts/python/
excel直接输入Filter公式可以，用python写进去，打开文件就报错？
前面那个账号没有财富值了。换个账号交流。
试了一下，最简单的。
ws['A3'].value = '=A1:D1'
打开文件不报错，但单元格公式前面自动加了@，内容只显示A1内容。
我用xlwings写入FILTER函数不报错，但也同样现象(公式前自动加@，只显示第一个单元格内容)。
顺着这个一路找下去，这应该就是python库是否支持处理动态数组问题了。
按我理解，
1）用xlwings或许可以，但得用UDF(自己定义函数功能)，前提还得把xlwings插件安装到excel里(这就不友好了，我还需要把最后做好的软件分享给别人用，不能让人家电脑上也得装xlwings插件吧)。
2）用xlsxwriter确定可以，可问题是xlsxwriter不支持打开已有的excel文件，只能新建写入，
所以我本来的想法是，先选择一个区域单元格为整体，然后写入试试，但没找到具体代码方法。
python写hive的UDF问题
你把print写在try里面当然会少数据。你应该try访问fields数组并更新fields[2]的值。另一方面，从功能点上来说，使用SQL函数nvl或coalesce就能实现，没必要写个UDF来实现，你这样做增加额外的IO消耗和工作量。如果一定要写UDF，建议少用print,改用标准输出实现：sys.stdout.write()。
hive自定义UDF函数，步骤详解
UDF函数是一进一出函数,如hive中的substr、date_add、date_sub都是UDF函数。
hive的udf有 两种 实现方式或者实现的API，一种是 udf 比较简单，一种是 GenericUDF 比较复杂
注意继承UDF类时，不会报错、不需要实现抽象方法，这时需要我们重写evaluate()方法，而且方法名必须是evaluate。
编写一个UDF，关键在于自定义Java类需要继承UDF类并实现evaluate()函数。
因为在hive客户端执行查询时，对于 每行输入 都会调用evaluate()函数，evaluate()函数处理后的值会返回给hive。
在hive客户端，将 xxx HiveUDF.jar 文件加载到类路径：
1) 创建临时函数语法：
2）创建永久函数语法
参考文章：hive自定义函数UDF的使用方法
计算圆面积的函数
udf(int r)
{
float s;
s=3.1415926*r*r;
return(s);
}
main()
{
int r;
for(r=10;r=20;r++)
printf("%d:%f\n",r,udf(r));
}
udaf可以用python写吗
Java来实现Hive的写法
package jsl.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
public final class DomainRoot extends UDF {
public Text evaluate(Text s) {
if (s == null) {return null;}
String tmp = s.toString();
tmp = this.getDomainRoot(tmp);
return new Text(tmp);
}
private String getDomainRoot(String domain) {
throw NoneImplementException("xxxx");
}
}
如果Java的UDF需要当成常用的，不用每次add可以注册到Hive中，
ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java中加入
registerUDF("domain_root", UDFParseUrl.class, false);并重新编译hive即可
下面来说说重点，通过Streaming用Python来写处理。
关于Streaming的基础内容：
约束：首先必须add file到hive中（当python中引用了其他如自己写的模块时，也需要一并add进去）
其次非常不幸,在单独的一个查询中，不能够使用UDAF的函数如sum()
再次不得为中间结果数据使用cluster by或distribute by
注意：对于优化查询，使用cluster by或distribute by 和sort by一起非常重要
网站栏目：python写udf函数 python odf
文章位置：http://cdiso.cn/article/dodeoge.html
