ELK日志收集记录

康靖

logstash在需要收集日志的服务器里运行，将日志数据发送给es
在kibana页面查看es的数据
es和kibana安装：
Install Elasticsearch with RPM | Elasticsearch Guide [8.8] | ElasticConfiguring Elasticsearch | Elasticsearch Guide [8.8] | ElasticInstall Kibana with RPM | Kibana Guide [8.8] | Elastic

1. rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
3. cat << EOF >/etc/yum.repos.d/elasticsearch.repo
4. [elasticsearch]
5. name=Elasticsearch repository for 8.x packages
6. baseurl=https://artifacts.elastic.co/packages/8.x/yum
7. gpgcheck=1
8. gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
9. enabled=0
10. autorefresh=1
11. type=rpm-md
12. EOF
14. yum install -y --enablerepo=elasticsearch elasticsearch<br><br># 安装完成后，在终端里可以找到es的密码<br># 修改密码：'/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic'<br># config file: /etc/elasticsearch/elasticsearch.yml<br># network.host: 0.0.0.0 允许其他服务器访问<br># http.port 修改成可以外部访问的端口<br><br># 启动es<br><em id="__mceDel">systemctl start elasticsearch.service<br><br></em><em><em><em><em><em><em># 测试是否可以访问：curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic https://localhost:es_host<br># 如果要在其他服务器里访问的话，需要先把证书移过去：</em></em></em></em></em></em><em><em>/etc/elasticsearch/certs/http_ca.crt，直接复制证书的内容，在客户端保存成一个证书文件即可<br># 在客户端里测试是否可以访问：</em></em><em id="__mceDel"><em><em><em><em><em><em>curl --cacert path_to_ca.crt -u elastic https://localhost:es_host</em></em></em></em></em></em></em>

复制代码

1. <em><em><em><em><em><em>
2. # install kibana
3. cat << EOF >/etc/yum.repos.d/kibana.repo
4. [kibana-8.x]
5. name=Kibana repository for 8.x packages
6. baseurl=https://artifacts.elastic.co/packages/8.x/yum
7. gpgcheck=1
8. gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
9. enabled=1
10. autorefresh=1
11. type=rpm-md
12. EOF
13. <br># kibana和es可以安装到同一台服务器
14. yum install -y kibana
15. # /etc/kibana/kibana.yml 修改server.port为外部可以访问的端口，server.host修改为0.0.0.0允许其他服务器访问，elasticsearch部分的可以先不用设置，
16. # root用户使用：/usr/share/kibana/bin/kibana --allow-root
17. systemctl start kibana.service
18. # 首次打开kibana页面需要添加elastic的token，使用如下命令生成token
19. # /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana<br># 登录的时候也需要es的用户名和密码<br># 登录成功之后，</em></em></em></em></em></em><em id="__mceDel"><em id="__mceDel">/etc/kibana/kibana.yml的底部会自动添加elasticsearch的连接信息</em></em>

复制代码

需要收集日志的服务器里安装logstash：

1. rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
3. cat <<EOF > /etc/yum.repos.d/logstash.repo
4. [logstash-8.x]
5. name=Elastic repository for 8.x packages
6. baseurl=https://artifacts.elastic.co/packages/7.x/yum
7. gpgcheck=1
8. gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
9. enabled=1
10. autorefresh=1
11. type=rpm-md
12. EOF
14. yum install -y logstash
15. ln -s /usr/share/logstash/bin/logstash /usr/bin/logstash
17. # install filebeat
18. rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
19. cat <<EOF > /etc/yum.repos.d/filebeat.repo
20. [elastic-8.x]
21. name=Elastic repository for 8.x packages
22. baseurl=https://artifacts.elastic.co/packages/8.x/yum
23. gpgcheck=1
24. gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
25. enabled=1
26. autorefresh=1
27. type=rpm-md
28. EOF
29. yum install -y filebeat<br>ln -s /usr/share/filebeat/bin/filebeat /usr/bin/logstash
31. #filebeat->logstash->ES
32. #filebeat从具体目录里拿文件的内容发送给logstash，logstash将数据发送给es
33. <br>midr -m 777 -p /data/logstash<br>
34. cat <<EOF >/data/logstash/filebeat.conf
35. filebeat.inputs:
36. - type: log
37.   paths:
38.     - /your_log_path/*.log
39. output.logstash:
40.   hosts: ["127.0.0.1:5044"]
41. EOF
44. cat <<EOF >/data/logstash/logstash.conf
45. # Sample Logstash configuration for creating a simple
46. # Beats -> Logstash -> Elasticsearch pipeline.
48. input {
49.   beats {
50.     port => 5044
51.     client_inactivity_timeout => 600
52.   }
53. }
55. filter{
56.   mutate{
57.     remove_field => ["agent"]
58.     remove_field => ["ecs"]
59.     remove_field => ["event"]
60.     remove_field => ["tags"]
61.     remove_field => ["@version"]
62.     remove_field => ["input"]
63.     remove_field => ["log"]
64.   }
65. }
67. output {
68.   elasticsearch {
69.     hosts => ["https://es_ip_address:es_port"]
70.     index => "log-from-logstash"
71.     user => "es_user_name"
72.     password => "es_password"
73.     ssl_certificate_authorities => "path_to_es_http_ca.crt"
74.   }
75. }
76. EOF<br>
77. #es_http_ca.crt的内容和es服务器里的/etc/elasticsearch/certs/http_ca.crt内容相同
78. #filter里移除一些不必要的字段
80. #启动
81. logstash -f /data/logstash/logstash.conf >/dev/null 2>&1 &
82. filebeat -e -c /data/logstash/filebeat.conf >/dev/null 2>&1 &

复制代码

1. 启动之后，filebeat.conf里配置的日志路径里可以copy一些文件做测试，或者已经有一些日志文件的话，都可以在kabana里看到配置的index被自动创建：<br>

复制代码

 创建一个DataView就可以查看index里的文档内容：

 在Discover里选择配置的dataview查看数据：

 

1.  

复制代码

来源:https://www.cnblogs.com/huizit1/p/17494824.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！