一键登录 更安全快捷
获取验证码
密码登录
验证码登录
登录
登录/注册
0
收藏
ELK是一套开源分布式日志收集、存储、检索与可视化完整解决方案，名称来源于三大核心组件首字母组合：Elasticsearch + Logstash + Kibana，常搭配轻量采集器Filebeat组成完整ELFK架构，广泛应用于服务器、容器、虚拟化、业务系统全量日志统一治理。
ELK代指Elasticsearch、Logstash、Kibana组合技术栈，各司其职完成日志全流程处理：Logstash负责日志过滤清洗，Elasticsearch负责分布式存储与全文检索，Kibana负责可视化图表、日志查询、告警配置，一站式解决海量日志分散难排查、检索慢、无可视化报表的运维痛点。
有VMware全系列产品官方资源和定制版资源需求的可以移步：
1. Elasticsearch（ES）：分布式搜索引擎&存储核心
底层基于Lucene构建分布式全文检索引擎，承担日志持久化存储、分词索引、多条件快速检索能力；支持集群水平扩容，分片副本机制保障日志数据高可用，可支撑TB/PB级海量日志秒级查询，所有日志最终统一存入ES索引库。
2. Logstash：日志过滤处理管道
具备输入（Input）、过滤（Filter）、输出（Output）三段式处理流程；支持对接文件、TCP、数据库、消息队列等多种日志源，可完成日志分割、字段提取、格式转换、过滤无用日志、IP解析、数据脱敏，清洗标准化后转发至Elasticsearch，是日志数据加工中间层。
3. Kibana：可视化Web管理控制台
对接Elasticsearch提供Web操作界面，核心功能包含日志条件检索、自定义仪表盘、折线/柱状/饼图统计、日志时序分析、自定义告警规则、日志导出；运维人员无需编写复杂查询语句，图形化定位故障、统计系统运行指标。
原生Logstash资源占用高，生产环境不会直接在业务服务器部署，新增轻量级采集组件Filebeat形成ELFK架构：
1. Filebeat部署在业务主机/容器，轻量化采集本地日志文件，低CPU内存消耗；
2. Filebeat将原始日志发送至Logstash或Kafka消息队列削峰；
3. Logstash统一清洗、格式化日志；
4. 处理后数据写入Elasticsearch持久化；
5. 运维通过Kibana检索、可视化、配置日志告警。
1. 采集：Filebeat/Logstash Input采集服务器、容器、中间件、数据库、虚拟化平台产生的原始日志；
2. 清洗：Logstash Filter分割多行日志、提取时间戳、请求路径、报错码、用户ID关键字段，过滤调试冗余日志；
3. 存储索引：标准化日志批量写入Elasticsearch，自动分词建立倒排索引；
4. 检索可视化：管理员登录Kibana，按时间、关键词、错误码筛选日志，制作业务监控大盘；
5. 告警联动：Kibana配置阈值告警，日志出现大量ERROR、宕机报错时推送邮件、钉钉、企业微信通知运维。
1. 日志统一归集：多台服务器、容器、虚拟化集群日志集中存放，无需逐台登录服务器查看日志；
2. 秒级全文检索：支持模糊匹配、多字段组合查询，快速定位程序崩溃、数据库慢查询、网络异常报错；
3. 可视化运维大盘：统计日志访问量、错误占比、响应耗时，直观展现系统运行健康度；
4. 故障快速回溯：按时间范围留存全量日志，线上故障发生后可回溯完整调用链路日志；
5. 轻量化扩展：支持集群横向扩容，业务增长可新增ES、Logstash节点提升日志处理吞吐量。
1. 虚拟化运维：vSphere、VCF、NSX、Horizon集群主机、虚拟机、管控组件日志统一收集排查；
2. K8s容器平台：Pod容器标准输出日志采集，微服务调用链路日志追踪；
3. 业务应用系统：Java/PHP后端服务、Web网关、数据库慢SQL日志监控；
4. 安全审计：防火墙、负载均衡登录、操作日志留存，满足等保日志存储审计要求；
5. 性能分析：统计接口响应时长、访问峰值，辅助系统扩容优化。
1. 误区：ELK仅能收集文本日志文件
纠正：Logstash支持TCP、UDP、Redis、Kafka、数据库等几十种输入源，可采集系统各类数据流。
2. 误区：生产环境直接用Logstash采集业务服务器日志
纠正：Logstash资源开销大，服务器侧统一使用Filebeat轻量采集，避免抢占业务资源。
3. 误区：Elasticsearch只用来存日志
纠正：ES通用分布式检索引擎，也可用于商品搜索、监控指标存储，日志只是典型使用场景。
4. 误区：Kibana可独立存储日志数据
纠正：Kibana无存储能力，仅作为ES可视化客户端，所有日志数据全部保存在Elasticsearch。
5. 误区：ELK无法应对高并发日志峰值
纠正：接入Kafka消息队列做缓冲削峰，可解决日志突发流量导致ES写入崩溃问题。
ELK是Elasticsearch、Logstash、Kibana三款开源组件组成的日志处理技术栈，三者分工明确：Logstash负责日志清洗加工，Elasticsearch提供分布式存储与高速检索，Kibana实现日志可视化查询与告警；生产环境通常搭配轻量采集器Filebeat升级为ELFK架构，一站式实现全平台日志采集、治理、故障排查与运维可视化，是虚拟化、容器、业务系统通用日志解决方案。
