Hive-f如何封装支持传参数
这篇文章给大家分享的是有关Hive -f如何封装支持传参数的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。
10年积累的成都网站设计、做网站经验，可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你，你也不认识我。但先制作网站后付款的网站建设流程，更有当雄免费网站建设让你可以放心的选择与我们合作。
需求
}Hive -f
}hiveF 封装hive –f aa.sql
}支持传任意多个参数，实现shell脚本和sql文件的分离
}Java 类名 *.sql -date “2013-01-01” ….
分析
对一下sql中的分区字段${date} 进行hiveF的封装，让date字段传值和sql文件分离
create table tmp_test1 as
select session_id,
url,
getcmsid(url)
from page_views where dt='{$date}' and url like '%topicId%';java代码如下
main.java
package hive.hiveF;
import java.io.File;
public class Main {
/**
*
* @param ../*.sql -date "2013-01-01"
* @throws Exception
*/
public static void main(String[] args) throws Exception {
// args = new String[5];
// args[0] ="c:/test.sql";
// args[1] = "-date";
// args[2] = "2013-01-01";
// args[3] = "-date1";vi hi
// args[4] = "2013-11-11";
ParseArgs parse = new ParseArgs(args);
String sql = Utils.getSql(new File(args[0]));
System.out.println(Utils.parse(sql, parse.getMap()));
// System.out.println(parse.getMap().get("date"));
// System.out.println("select * from t1 limit 2");
}
}ParesArgs.java(将shell脚本中的-date "$date" 中的date值分离出来，以便传到sql文件中执行，见hive_test.sh,hive_test.hql)
package hive.hiveF;
import java.util.HashMap;
import java.util.Map;
public class ParseArgs {
private Map map = null;
public ParseArgs(String[] args){
map = new HashMap();
if(args.length == 0){
return ;
}
int i=0;
while(i i){
value = args[i].trim();
if(value.startsWith("\"") || value.startsWith("\'")){
value = value.substring(1,value.length()-1).trim();
}
}
map.put(key, value);
i++;
}else{
i++;
}
}
}
public Map getMap() {
return map;
}
} Utils.java
package hive.hiveF;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.util.HashMap;
import java.util.Map;
public class Utils {
public static final String BEGIN ="{$";
public static final String END ="}";
public static String getSql(File file) throws Exception{
BufferedReader bf = new BufferedReader(new FileReader(file));
StringBuffer sqlBuffer = new StringBuffer();
String temp = null;
while((temp = bf.readLine())!=null){
String tmp = temp.trim();
if(tmp.length() == 0 || tmp.startsWith("#") || tmp.startsWith("--")){
continue;
}
sqlBuffer.append(tmp+" ");
}
bf.close();
return sqlBuffer.toString();
}
/**
*把SQL里的参数引用，替换为map里的value
* @param sql
* @param map
*/
public static String parse(String sql , Map map ){
int begin = sql.indexOf(BEGIN);
while(begin !=-1){
String suffix = sql.substring(begin + BEGIN.length()); //data}
int end = begin + BEGIN.length() + suffix.indexOf(END);
String key = sql.substring(begin+BEGIN.length(),end).trim();
if(map!=null && map.get(key)!=null){
sql = sql.substring(0,begin) + map.get(key) + sql.substring(end+1,sql.length());
}else{
throw new RuntimeException("Incalid Expression...");
}
begin = sql.indexOf(BEGIN);
}
return sql ;
}
}
准备
1、在hive中创建表page_views
create table page_views ( sessionid string, url string ) partitioed by (dt string) row format delimited fields terminated by '\t' ;
2、在root目录下创建文件vi pageviews
1 http://www.baidu.com/topicId=123123
2 http://www.baidu.com/topicId=14325245
3 http://www.baidu.com/topicId=432w32452
4 http://www.baidu.com/topicId=542351
4 http://www.baidu.com/topicId=5423e
5 http://www.baidu.com/topicId=54325342
6 http://www.baidu.com/topicId=2452
3 http://www.baidu.com/topicId=543222
3、加载数据到page_views中
load data local inpath '/root/pageviews' into table page_views partition (dt='2013-08-08');
4、向/usr/hiveF/lib中导入一个做好的udf（getCmsId）参考UDF和UDAF开发
操作
1、在Linux文件中创建目录hiveF/lib、HiveF/bin 分别存放jar包，和shell文件
2、将以上三个java程序打成hiveF3.jar包上传到HiveF/lib文件中
3、进入HiveF/bin目录下创建两个文件hive_test.sh,hive_test.hql，hiveF
vi hiveF
. /etc/profile sql=`java -jar /usr/hiveF/lib/hiveF3.jar $*` echo "$sql" hive -e "$sql"
vi hive_test.hql
add jar /usr/hiveF/getId.jar;
create temporary function getcmsid as 'hive.GetCmsID';
drop table tmp_test1;
create table tmp_test1 as
select sessionid,
url,
getcmsid(url)
from page_views where dt='{$date}' and url like '%topicId%';vi hive_test.sh
#!/bin/bash #set -x . /etc/profile cd /opt/beifeng begin=`date -d -1days +%Y-%m-%d` begin="2013-08-08" #hive -f ./hive_test.hql hiveF3 /usr/hiveF/bin/hive_test.hql -date "$begin"
4、在/etc/profile 中将/usr/hiveF/bin添加到Path中保存退出
source /etc/profile
5、执行shell脚本 ./hive_test.sh 完成后
感谢各位的阅读！关于“Hive -f如何封装支持传参数”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
文章标题：Hive-f如何封装支持传参数
网站URL：http://cdiso.cn/article/ipoegs.html
