es数据的冷热分离实验-创新互联

注意：演示用的2节点es，有些参数配置不太合理，生产环境还需要更严格的参数设定(例如必须开启密码验证)。

创新互联服务项目包括乐昌网站建设、乐昌网站制作、乐昌网页制作以及乐昌网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，乐昌网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到乐昌省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

系统版本：CentOS7

节点规划：

热数据节点：  192.168.2.4

温数据节点：  192.168.2.190

PS：这里就没分 hot warm cold 这种三级存储，我们一般使用 hot warm 2种即可。

我们这里使用 tar.gz 通用二进制文件

useradd es

# cat /etc/security/limits.d/elasticsearch.conf 

es - nofile 65535 es - noproc 65535 es - memlock unlimited

cd /usr/local/elasticsearch-7.4.2/

mkdir data logs 

chown es.es  /usr/local/elasticsearch-7.4.2/ -R

su - es

cd /usr/local/elasticsearch-7.4.2/

热数据节点：  192.168.2.4 的配置如下：

cat config/elasticsearch.yml 

cluster.name: my-application node.name: node-1 node.attr.rack: r1 node.attr.temperature: hot path.data: ./data/ path.logs: ./logs node.master: true node.data: true node.ingest: true bootstrap.memory_lock: true network.host: 0.0.0.0 http.port: 9200 cluster.initial_master_nodes:    - 192.168.2.4:9300   - 192.168.2.190:9300    discovery.seed_hosts:   - 192.168.2.4   - 192.168.2.190    gateway.recover_after_nodes: 1 #action.destructive_requires_name: true ############# xpack 的配置项 #################### #xpack.security.enabled: true #xpack.security.transport.ssl.enabled: true xpack.security.audit.enabled: true xpack.security.audit.logfile.events.include: access_denied, access_granted, anonymous_access_denied, authentication_failed,connection_denied, tampered_request, run_as_denied, run_as_granted xpack.security.audit.logfile.emit_node_host_address: true xpack.security.audit.logfile.emit_node_host_name: true xpack.sql.enabled: true xpack.ilm.enabled: true

温数据节点：  192.168.2.190

cat config/elasticsearch.yml 

cluster.name: my-application node.name: es11 node.attr.rack: r1 node.attr.temperature: warm path.data: ./data/ path.logs: ./logs node.master: true node.data: true node.ingest: true bootstrap.memory_lock: true network.host: 0.0.0.0 http.port: 9200 cluster.initial_master_nodes:    - 192.168.2.4:9300   - 192.168.2.190:9300    discovery.seed_hosts:   - 192.168.2.4   - 192.168.2.190 gateway.recover_after_nodes: 1 #action.destructive_requires_name: true ############# xpack 的配置项 #################### #xpack.security.enabled: true #xpack.security.transport.ssl.enabled: true xpack.security.audit.enabled: true xpack.security.audit.logfile.events.include: access_denied, access_granted, anonymous_access_denied, authentication_failed,connection_denied, tampered_request, run_as_denied, run_as_granted xpack.security.audit.logfile.emit_node_host_address: true xpack.security.audit.logfile.emit_node_host_name: true xpack.sql.enabled: true xpack.ilm.enabled: true

启动脚本： 

# cat start.sh 

# es 依赖高版本的jdk 需要先export下 export JAVA_HOME=./jdk/ nohup ./bin/elasticsearch >/dev/null 2>&1 &

停止脚本：

# cat stop.sh 

kill $(jps| grep Elasticsearch | awk '{print $1}')

创建索引，并将数据搬迁到hot节点：

curl -H 'Content-Type: application/json' -X PUT http://localhost:9200/index-2019.10.19?pretty curl -H 'Content-Type: application/json' -X PUT http://localhost:9200/index-2019.10.19/_settings -d ' {   "index.routing.allocation.require.temperature": "hot" }'

如果要将 index-2019.10.19 的数据搬迁到温节点，我们使用下面的这个命令就行

curl -H 'Content-Type: application/json' -X PUT http://localhost:9200/index-2019.10.19/_settings -d ' {   "index.routing.allocation.require.temperature": "warm" }'

流程跑通后，我们可以写个脚本，作用有2个：

1、提前创建后一天的索引，并确保将其落到hot节点

2、将7天前的索引，打标签，存放到es的warm节点(大容量HDD磁盘)：

#!/bin/bash # 创建新的索引，语句类似下面5行，需要根据自己情况修改(建议使用for循环创建index) # curl -H 'Content-Type: application/json' -X PUT http://localhost:9200/index-2019.10.19?pretty # curl -H 'Content-Type: application/json' -X PUT http://localhost:9200/index-2019.10.19/_settings -d ' # { #   "index.routing.allocation.require.temperature": "hot" # }' day=$(date +"%Y.%m.%d" -d -7day) curl -H 'Content-Type: application/json'  -X PUT http://192.168.2.4:9200/*-${day}/_settings -d ' {   "index.routing.allocation.require.temperature": "warm" }'

另外， 在es7里面 提供 index-lifecycle-management 这个功能， 我们在kibana 界面里面就可以进行配置。 具体可以查阅es官方的文档（个人还是比较喜欢用上面的这种脚本的方案）。

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

名称栏目：es数据的冷热分离实验-创新互联
文章分享：http://cdiso.cn/article/ceshjc.html