UOS服务器操作系统部署EFK-创新互联
- 一、EFK简介
- 二、建单节点ES
- 1、下载es、kibana、filebeat安装包并解压
- 2、创建es普通用户并将es安装包解压
- 3、修改配置文件
- 4、使用root用户添加环境变量
- 5、启动es
- 三、搭建kibana
- 1、解压安装包
- 2、修改配文件
- 3、启动kibana
- 四、搭建filebeats
- 1、解压安装包
- 2、修改配置文件
- 3、启用system模块
- 4、启用filebeat
- 5、检查数据并查看仪表盘是否生成
- 五、结果展示
Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大量日志数据,也可用于搜索许多不同类型的文档。
Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上,或者将 Beats 作为函数加以部署,然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能,Beats 还能将数据输送到 Logstash 进行转换和解析。
Kibana 核心产品搭载了一批经典功能:柱状图、线状图、饼图、旭日图,等等。不仅如此,您还可以使用 Vega 语法来设计独属于您自己的可视化图形。所有这些都利用 Elasticsearch 的完整聚合功能。
Elasticsearch 通常与 Kibana 一起部署,Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard,Kibana 允许你通过 web 界面来浏览 Elasticsearch 日志数据。
二、建单节点ES 1、下载es、kibana、filebeat安装包并解压下载地址:
https://www.elastic.co/cn/downloads/past-releases#elasticsearch
https://www.elastic.co/cn/downloads/past-releases#filebeat
https://www.elastic.co/cn/downloads/past-releases#kibana
注:三个包的版本必须保持一致
[root@node1 ~]# useradd es
[root@node1 ~]# su - es
[es@node1 ~]$ tar -xzf elasticsearch-7.6.1-linux-x86_64.tar.gz
3、修改配置文件[es@node1 ~]$ cd elasticsearch-7.6.1/
[es@node1 elasticsearch-7.6.1]$ vim config/elasticsearch.yml
找到如下配置信息进行修改有注释的取消注释
cluster.name: my-application
node.name: node-1
path.data: /var/yoocar/software/elastic/data
path.logs: /var/log/es/
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
4、使用root用户添加环境变量[root@node1 ~]# vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-0.up3.uelc20.01.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
[root@node1 ~]# source /etc/profile
[root@node1 ~]# vim /etc/sysctl.conf
vm.max_map_count=262144
[root@node1 ~]# sysctl -p
vm.dirty_ratio = 50
net.core.busy_read = 100
vm.max_map_count = 262144
[root@node1 ~]# vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
[root@node1 ~]# ln -s /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-0.up3.uelc20.01.x86_64/jre/bin /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-0.up3.uelc20.01.x86_64/
5、启动es[es@node1 elasticsearch-7.6.1]$ ./bin/elasticsearch -d
注:此处需要使用es用户进行启动,这里使用的启动方式是后台启动通过ps aux查看是否启动成功
三、搭建kibana 1、解压安装包[root@node1 ~]# tar -xzf kibana-7.6.1-linux-x86_64.tar.gz
2、修改配文件[root@node1 kibana-7.6.1-linux-x86_64]# vim config/kibana.yml
找到如下配置进行修改
server.port: 5601
server.host: "0.0.0.0"
server.name: "node1"
elasticsearch.hosts: ["http://192.168.122.63:9200"]
i18n.locale: "zh-CN"
3、启动kibana[root@node1 kibana-7.6.1-linux-x86_64]# ./bin/kibana --allow-root
四、搭建filebeats
1、解压安装包[root@node1 ~]# tar -xzf filebeat-7.6.1-linux-x86_64.tar.gz
2、修改配置文件[root@node1 filebeat-7.6.1-linux-x86_64]# vim filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/yoocar/software/elastic/logs/gc.log.0.current
multiline.pattern: ^\[
multiline.negate: true
multiline.match: after
multiline.max_lines: 1000
multiline.timeout: 3s
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
output.elasticsearch:
# Array of hosts to connect to.
hosts: ["192.168.122.63:9200"]
setup.kibana: "192.168.122.63:5601"
index: "log-%{+yyyy.MM}"
setup.template.name: "filebeat"
setup.template.pattern: "filebeat-*"
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
3、启用system模块[root@node1 filebeat-7.6.1-linux-x86_64]# ./filebeat modules enable system
4、启用filebeatsetup命令加载kibana仪表盘。如果仪表盘设置好了请忽略此步骤
注:此命令需要加载一段时间请耐心等候
[root@node1 filebeat-7.6.1-linux-x86_64]# ./filebeat setup
加载完成后使用如下命令
[root@node1 filebeat-7.6.1-linux-x86_64]# ./filebeat -e
5、检查数据并查看仪表盘是否生成使用浏览器访问本机5601端口之后根据如下截图箭头点击即可
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧
当前名称:UOS服务器操作系统部署EFK-创新互联
网页URL:http://cdiso.cn/article/depoho.html