作者:empty 页数:97 出版社:empty |
什么是ELK?前言通俗来讲, ELK是由Elastic search、Log stash、Kiba na三个开源软件的组成的一个组合体, 这三个软件当中, 每个软件用于完成不同的功能, ELK又称为ELKstack, 官方域名为s tactic.co, ELK stack的主要优点有如下几个:处理方式灵活:elastic search是实时全文索引, 具有强大的搜索功能配置相对简单:elastic search全部使用JSON接, log stash使用模块配置,kiba na的配置文件部分更简单。检索性能高效:基于优秀的设计,虽然每次查询都是实时,但是也可以达到百亿级数据的查询秒级响应。集群线性扩展:elastic search和log stash都可以灵活线性扩展前端操作绚丽:kiba na的前端设计比较绚丽, 而且操作简单什么是Elastic search:是一个高度可扩展的开源全文搜索和分析引擎,它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接, 可以处理大规模日志数据, 比如Ng in x、Tomcat、系统日志等功能。
前言.
什么是ELK?.
什么是Elastic search:.
什么是Log stash.
什么是kiba na:.
一:elastic search部署:.
1.1:环境初始化:.
1.1.1:主机名和磁盘挂载:.
1.1.2:防火墙和selinux:.
1.1.3:各服务器配置本地域名解析:.
2.1:log stash环境准备及安装:.
2.1.1:环境准备:.
2.1.2:安装log stash:.
2.2:测试log stash:.
2.2.2:测试输出到文件:.
2.2.3:测试输出到elastic search:.
2.2.4:elastic search服务器验证收到数据:
3.1:安装并配置kiba na:.
3.1.1:rpm方式:.
3.1.3:查看状态:.
3.1.3:添加上一步写入的索引:.
3.1.4:kiba na验证数据:.
4.1:收集单个系统日志并输出至文件:
4.1.1:log stash配置文件:.
4.1.2:检测配置文件语法是否正确:.
4.1.3:生成数据并验证:.
1.1.4:设置ep el源、安装基本操作命令并同步时间:.
1.2:在host 1和host 2分别安装elastic search:
1.2.1:在两台服务器准备java环境:.
1.3:官网下载elastic search并安装:.
1.3.1:两台服务器分别安装elastic search.
1.3.2:编辑各elastic search服务器的服务配置文件:.
1.3.3:修改内存限制,并同步配置文件:.
1.3.4:目录权限更改:.
1.3.5:启动elastic search服务井验证:.
1.3.6:验证端监听成功:.
1.3.7:通过浏览器访问elastic search服务端:
1.4:安装elastic search插件之head:.
1.4.1:安装5.x版本的head插件:.
1.4.2:elastic search插件之kopf:.
1.5:监控elastic search集群状态:
1.5.1:通过shell命令获取集群状态:.
1.5.2:python脚本:.
1.5.3:脚本执行结果:
二:部署log stash:.
2.2.1:测试标准输入和输出:
三:kiba na部署及日志收集:.
3.1.2:启动kiba na服务并验证:.
3.1.5:查看head插件显示的索引状态:.
四:通过log stash收集日志:.
4.1.4:查看log stash日志, 确认有权限收集日志:.
4.1.5:授权读取文件:.
4.2:通过log stash收集多个日志文件:.
4.2.1:Log stash配置:.
4.2.2:重启log stash并查看日志是否有报错:.
4.2.3:向被收集的文件中写入数据:.
4.2.4:在kiba na界面添加system-messages索引.
4.2.5:在kiba na界面添加secure-messages索引:.
4.2.6:kiba na展示system-messages:
4.2.7:kiba na展示secure-messages:.
4.3:通过log t sash收集tomcat和java日志:.
4.3.1:服务器部署tomcat服务:.
4.3.2:在tomcat服务器安装log stash收集tomcat和系统日志:
4.3.3:收集java日志:.
4.4:收集ng in x访问日志:.
4.4.1:部署ng in x服务:.
4.4.2:编辑配置文件并准备web页面:.
4.4.2:测试ng in x配置:.
4.4.3:启动ng in x并验证:.
4.4.4:访问ng in x页面:.
4.4.5:将ng in x日志转换为json格式:
4.4.6:确认日志格式为json:.
4.4.7:配置log stash收集ng in x访问日志:
4.4.8:kiba na界面添加索引:.
4.4.9:kiba na界面验证数据:.
4.5:收集TCP/UDP日志.
4.5.1::log stash配置文件, 先进行收集测试:.
4.5.2:验证端启动成功:.
4.5.3:在其他服务器安装nc命令:.
4.5.4:验证log stash是否接收到数据:.
4.5.5:通过nc命令发送一个文件:.
4.5.6:log stash验证数据:.
4.5.7:通过伪设备的方式发送消息:
4.5.8:log stash验证数据:.
4.5.9:将输出改为elastic search:.
4.5.10:通过nc命令或伪设备输入日志:
4.5.11:在kiba na界面添加索引:.
4.6:通过rsyslog收集ha proxy日志:
4.6.1:编译安装配置ha proxy:.
4.6.2:编辑rsyslog服务配置文件:.
4.6.3:重新启动ha proxy和rsyslog服务:
4.6.4:验证ha proxy端及服务:.
4.6.5:更改本地host文件:.
4.6.6:测试域名及访问:.
4.6.7:编辑log stash配置文件:.
4.6.8:通过-f命令测试log stash:.
4.6.9:web访问ha proxy并验证数据:.
4.6.10:访问ha proxy管理界面:.
4.6.11:ha proxy管理界面:.
4.6.12:验证log stash输出:.
4.6.13:将输出改为elastic search:.
4.6.14:web访问ha proxy以生成新日志:
4.6.15:kiba na界面添加索引:.
4.6.16:kiba na验证数据:.
4.7:log stash收集日志并写入red is:.
4.7.1:部署red is:.
4.7.2:设置red is访问密码:.
4.7.3:启动并测试red is服务:.
4.7.4:配置log stash将日志写入至red is:.
4.7.5:测试log stash配置文件语法是否正确:.
4.7.6:访问tomcat的web界面并生成系统日志:
4.7.7:验证red is是否有数据:.
4.7.8:配置其他log stash服务器从red is读取数据:.
4.7.9:测试log stash:.
4.7.10:验证red is的数据是否被取出:.
4.7.11:在head插件验证数据:.
4.7.12:kiba na添加tomcat访问日志索引:.
4.7.13:kiba na添加tcp日志索引:.
4.7.14; kiba na验证tomcat访问日志:.
4.7.15:kiba na验证tcp日志:.
4.8:使用file beat替代log stash收集日志:.
4.8.1:确认日志格式为json格式:.
4.8.2:确认日志格式,后续会用日志做统计:
4.8.3:安装配置file beat:.
4.8.4:配置file beat收集系统日志:.
4.8.5:file beat收集单个类型日志并写