java代码内创建索引 java创建es索引demo
如何用java语言建立多个索引?
使用jdbc技术连接数据库
创新互联于2013年成立,是专业互联网技术服务公司,拥有项目成都做网站、网站设计网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元朔城做网站,已为上家服务,为朔城各地企业和个人服务,联系电话:13518219792
使用语句对象statement的execute方法可以执行对索引的操作
例如代码如下
public class IndexFiles {
//使用方法:: IndexFiles [索引输出目录] [索引的文件列表] ...
public static void main(String[] args) throws Exception {
String indexPath = args[0];
IndexWriter writer;
//用指定的语言分析器构造一个新的写索引器(第3个参数表示是否为追加索引)
writer = new IndexWriter(indexPath, new SimpleAnalyzer(), false);
for (int i=1; iargs.length; i++) {
System.out.println("Indexing file " + args[i]);
InputStream is = new FileInputStream(args[i]);
//构造包含2个字段Field的Document对象
//一个是路径path字段,不索引,只存储
//一个是内容body字段,进行全文索引,并存储
Document doc = new Document();
doc.add(Field.UnIndexed("path", args[i]));
doc.add(Field.Text("body", (Reader) new InputStreamReader(is)));
//将文档写入索引
writer.addDocument(doc);
is.close();
};
//关闭写索引器
writer.close();
}
}
public class Search {
public static void main(String[] args) throws Exception {
String indexPath = args[0], queryString = args[1];
//指向索引目录的搜索器
Searcher searcher = new IndexSearcher(indexPath);
//查询解析器:使用和索引同样的语言分析器
Query query = QueryParser.parse(queryString, "body",
new SimpleAnalyzer());
//搜索结果使用Hits存储
Hits hits = searcher.search(query);
//通过hits可以访问到相应字段的数据和查询的匹配度
for (int i=0; ihits.length(); i++) {
System.out.println(hits.doc(i).get("path") + "; Score: " +
hits.score(i));
};
}
}在整个检索过程中,语言分析器,查询分析器,甚至搜索器(Searcher)都是提供了抽象的接口,可以根据需要进行定制。
分 析:
索引过程中可以看到:
语言分析器提供了抽象的接口,因此语言分析(Analyser)是可以定制的,虽然lucene缺省提供了2个比较通用的分析器SimpleAnalyser和StandardAnalyser,这2个分析器缺省都不支持中文,所以要加入对中文语言的切分规则,需要修改这2个分析器。
Lucene并没有规定数据源的格式,而只提供了一个通用的结构(Document对象)来接受索引的输入,因此输入的数据源可以是:数据库,WORD文档,PDF文档,HTML文档……只要能够设计相应的解析转换器将数据源构造成成Docuement对象即可进行索引。
对于大批量的数据索引,还可以通过调整IndexerWrite的文件合并频率属性(mergeFactor)来提高批量索引的效率。
总 结:
搜索结果返回的是Hits对象,可以通过它再访问Document==Field中的内容。假设根据body字段进行全文检索,可以将查询结果的path字段和相应查询的匹配度(score)打印出来,
java代码使用某个索引数据库中没建
java代码内创建mysql索引_如何利⽤Java代码操作索引库?今天是刘⼩爱⾃学Java的第161天。
感谢你的观看,谢谢你。
学习计划安排如下:学了⼏天的Elasticserch,但都是它本⾝的知识点,如何通过Java语⾔去操作它呢?
这就好⽐以前学数据库,在数据库⼯具中通过sql语句也能实现增删改查,⽽在Java中就可以通过jdbc操作数据库。
这⾥不学原⽣的Elasticsearch客户端,⽽是直接学习spring提供的套件:SpringDataElasticsearch。
毕竟要知道,我们以前也基本没⽤原⽣的jdbc,⽽是⽤的框架,使⽤起来也简便。
⼀、创建Demo⼯程
关于SpringDataElasticsearch介绍:
学Java有⼀个绕不开的坎就是spring,就是主流的很多功能都会看到spring的影⼦。
我们已经接触过了的就有:SpringMVC、Spring、SpringBoot、SpringCloud。
今天继续接触Spring Data中的⼀个模块。
为了更好地学习,创建⼀个demo⼯程。
通过spring脚⼿架创建项⽬
①Spring Initializr
使⽤idea开发⼯具创建Java项⽬有多种⽅式,以前就是通过Maven⾃⾏创建⼀个项⽬。
也可以通过Spring Initializr创建⼀个项⽬。
②说明项⽬名和Java版本号
项⽬名为es-demo,使⽤的jdk8.
③指定项⽬中需要⽤到的依赖
这⾥也就是springDataElasticsearch。
下图也就是创建好后的项⽬结构:
该⽅式创建的好处在于:
我们不⽤⾃⼰导⼊依赖了,依赖是在创建项⽬时指定的,也就是创建项⽬中的步骤③
同时关于启动类、配置⽂件都帮我们⾃学创建好了,其实⽆外乎就是上述三个核⼼关键步骤:启动类、配置⽂件、pom⽂件。
该⽅式创建的坏处在于:
版本问题,项⽬中可能⽤的是⽐较旧的版本,spring创建的版本需要⾃⾏修改。
根据⾃⼰的需求选择创建⽅式就好。
此外关于配置⽂件:
⾃⾏配置的是properties⽂件,⽽我们常⽤的是yml⽂件,这⾥将其修改成yml⽂件。
在配置⽂件中指定elasticsearch中对应的ip+端⼝,也就是我们前⼏天在虚拟机上安装elasticsearch的ip和端⼝。
⼆、创建索引和映射
我们以前使⽤MySQL数据库的时候,在Java中是实体类对应了数据库中的表数据。
同样的道理,现在是索引库了,在Java中也是使⽤实体类对应对应的索引库。
注解@Document说明对应的索引库:indexName:索引库名称叫item。
type:索引库类型docs。
shards:分⽚。
replicas:副本。
注解@Field说明索引库字段:
类型有很多种,double属于数字型,text和string属于字符型,其中text表⽰分词,string表⽰不分词,上述中的keyword其实也就对应着string。
注意images这个字段,index=false表⽰不需要索引,说明该字段不需要搜索功能。
我们以前学数据库的时候,在Java中操作数据库使⽤到了JdbcTemplate。
现在是要操作索引库,同样的道理,也有⼀个ElasticsearchTemplate
①createIndex()
创建索引库,参数为实体类的Class对象。
②putMapping()
说明字段映射关系,参数同上。
三、实现增删改查
通过JdbcTemplate实现数据库的增删改查,索引库中⽤ElasticsearchTemplate。
但是我们不⽤这种⽅式⽽是⽤其它⽅式。
毕竟我们现在操作数据库也没⽤JdbcTemplate⽽是常常使⽤通⽤mapper。
该⽅法也就类似于通⽤mapper。
在通⽤mapper中我们是创建⼀个⾃定义接⼝继承mapper接⼝。
再说明泛型之后,就可以直接使⽤这个接⼝完成增删改查操作了。
同样的道理,在这⾥是也是⾃定义⼀个接⼝继承ElasticsearchRepository接⼝。
关于这个接⼝的继承体系图通过上图也能查看到,名称也都是见名知义的。
1新增索引
saveAll⽅法,看它的名字也就知道了其对应的也就是新增操作。
其中关于新增,可以添加⼀条数据,也可以添加多条数据,例⼦中使⽤的是批量操作。
注意:在正式项⽬中应该是从数据库这种查询到需要实现搜索功能的数据,再将这些数据添加到索引库中,从⽽实现搜索功能。
我这边为了⽅便是⾃⼰创建的伪数据。
2查询索引
findAll也就是查询所有的数据,因为我们添加了多条数据,所以查询结果是⼀个集合。
增强for循环遍历输出,在控制台上也就能查询到新增的数据。
同样的道理,还有deleteAll删除索引,当然这是都是最简单最基础的⼏种api,后续更多⽤法再说明。
最后
⾏有不得反求诸⼰,我是@刘⼩爱
⼀个⽩天上班晚上学习的95后沪漂,不为其它,只为学会⾃律做好⾃⼰,也愿我的每⽇打卡能给你带来勇⽓,欢迎点赞关注和评论。
¥
5.9
百度文库VIP限时优惠现在开通,立享6亿+VIP内容
立即获取
java代码内创建mysql索引_如何利用Java代码操作索引库?
java代码内创建mysql索引_如何利⽤Java代码操作索引库?今天是刘⼩爱⾃学Java的第161天。
感谢你的观看,谢谢你。
学习计划安排如下:学了⼏天的Elasticserch,但都是它本⾝的知识点,如何通过Java语⾔去操作它呢?
这就好⽐以前学数据库,在数据库⼯具中通过sql语句也能实现增删改查,⽽在Java中就可以通过jdbc操作数据库。
这⾥不学原⽣的Elasticsearch客户端,⽽是直接学习spring提供的套件:SpringDataElasticsearch。
毕竟要知道,我们以前也基本没⽤原⽣的jdbc,⽽是⽤的框架,使⽤起来也简便。
第 1 页
⼀、创建Demo⼯程
关于SpringDataElasticsearch介绍:
学Java有⼀个绕不开的坎就是spring,就是主流的很多功能都会看到spring的影⼦。
solr3.5中如何用java代码为PDF,Office等文件添加索引
1、将解压包中的solr-4.7.1/dist/solr-4.7.1.war复制到tomcat_dir/webapps/目录,并命名为solr.war。
2、将solr-4.7.1/example/lib/ext/目录下的jar文件复制到tomcat/lib目录下,将solr-4.7.1/example/resources/下的log4j.properties文件复制到tomcat_dir/lib目录下;
切把 solr-4.7.1/example/solr,复制到tomcat_dir/bin下。
3、修改tomcat_dir/conf/server.xml
Connector port="8080" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443"
URIEncoding="UTF-8" /
4、创建solr.xml,存放在路径:tomcat/conf/Catalina/localhost/solr.xml,内容:
Context path="/solr" docBase="C:\Tomcat 7.0\webapps\solr.war"
debug="0" crossContext="true"
Environment name="solr/home" type="java.lang.String" value="C:\Tomcat 7.0\bin\solr\" override="true" /
/Context
PS:上面的docBase和value路径中不能存在中文字符,否则会出现404错误。
5、将C:\Tomcat 7.0\webapps下的solr.war包,启动项目解压;然后再添加几个jar包:
solr-4.7.1\dist\solr-dataimporthandler-4.7.1.jar;
solr-4.7.1\dist\solr-dataimporthandler-extras-4.7.1.jar;
还要加载数据库驱动包:mysql-connector-java-3.1.13-bin.jar
6、在C:\Tomcat 7.0\bin\solr\collection1\conf 下的solrconfig.xml增加以下数据库配置:
requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"
lst name="defaults"
str name="config"data-config.xml/str
/lst
/requestHandler
7、将tomcat\bin\solr\collection1\conf下增加data-config.xml文件,内容如下:
dataConfig
dataSource type="JdbcDataSource"
driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://192.168.1.221:3306/tmsdb"
user="root"
password="123456"/
document name="content"
entity name="node" query="select id,author,title,content from solrdb"
field column="id" name="id" /
field column="author" name="author" /
field column="title" name="title" /
field column="content" name="content" /
/entity
/document
/dataConfig
8、增加中文分词器,ik-analyzer的配置如下:
①目前的中文分词主要有两种
1,基于中科院ICTCLAS的隐式马尔科夫hhmm算法的中文分词器,例如smartcn等。(不支持自定义扩展词库)
2,基于正向迭代最细粒度切分算法(正向最大匹配并且最细分词)例如IK,庖丁等(支持自定义扩展词库)
安装分词前,可以去下载IK的分词包 :
IK-Analyzer-4.7.1-0.0.1-SNAPSHOT.jar
下载完毕后,将此包放进tomcat\solr的\WEB-INF\lib下面:tomcat\webapps\solr\WEB-INF\lib 。
下面需要在solr的schemal.xml进行分词器注册:
!-- 配置IK分词器 --
fieldType name="text_ik" class="solr.TextField" positionIncrementGap="100"
analyzer type="index"
!-- 分词--
tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory"/
!-- 禁用词过滤根据情况使用--
!-- filter class="org.wltea.analyzer.lucene.IKStopFilterFactory"/ --
/analyzer
analyzer type="query"
!-- 分词--
tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory"/
!-- 禁用词过滤根据情况使用--
!-- filter class="org.wltea.analyzer.lucene.IKStopFilterFactory"/--
/analyzer
/fieldType
最后还得配置一个引用字段就OK了
field name="ik" type="text_ik" indexed="true" stored="true" multiValued="true"/
②它的安装部署十分简单,将IKAnalyzer2012.jar部署亍项目的lib目录中;IKAnalyzer.cfg.xml不stopword.dic文件放置在class根目录(对于web项目,通常是WEB-I NF/classes目彔,同hibernate、log4j等配置文件相同)下即可 ;然后配置solr4.7中schema.xml配置解析器:
schema name="example" version="1.1"
……
fieldType name="text" class="solr.TextField"
analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/
/fieldType
……
/schema
网站名称:java代码内创建索引 java创建es索引demo
URL网址:http://cdiso.cn/article/ddiippj.html