1、客户面临的问题

Ø  开发人员不能登录线上服务器查看详细日志

Ø  各个系统都有日志，日志数据分散，查找困难并且效率低下

Ø  磁盘空间不足删除了日志

Ø  没有实时监控、分析

Ø  无法提供全文搜索

Ø  等级保护的需要

Ø  ....

2、建设方案

      2.1  项目方案

       Elastic Stack是一个端到端的产品堆栈，核心产品包括：Elasticsearch，Logstash，Kibana，Beats； Elastic Stack能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化

       2.2  项目架构

方案优势：

1. 扩展性

随着使用量的增加，Elasticsearch 可以进行扩展。添加更多数据和更多用例，当遇到资源不足问题时，只需向集群中再添加一个节点以提高容量和可靠性即可。而且当往集群中添加更多节点时，集群会自动分配副本分片，可以从容应对未来变化。

2. 安全性

通过流量加密，以及使用 SSL/TLS、节点身份验证证书等等，可以有效阻止针对 Elasticsearch 节点数据的网络攻击，并且可以对于权限的控制可以细化到文档和字段级别。

3. 高可用性

天生就支持分布式部署，通过集群部署和副本机制可以提高系统的可用性；并且引用了kafka作为缓存队列，进一步的保障了集群的稳定和数据的完整。

4. 便捷性

Elastic Stack 提供全面且强大的 REST API 和 UI，使管理和使用自己的集群非常简单。

5. 高效性

ES底层采用Lucene作为搜索引擎，并在此之上做了多重优化，保证了用户对数据查询数据的需求；也可用于复杂数据分析，海量数据的近实时处理等。

6. 相关性

ES内部提供了完善的评分机制，会根据分词出现的频次等信息对文档进行相关性排序，保证相关性越高的文档排序越靠前。另外还提供了包括模糊查询，前缀查询，通配符查询等在内的多种查询手段，帮助用户快速检索。

7. 全面性

beats集合了多种单一用途数据采集器，可以采集日志文件、指标、网络数据、审计数据和windows事件日志等全品类数据；Logstash 采用可插拔框架，拥有 200 多个插件。可以将不同的数据源进行多功能的解析和丰富。

3 、客户收益

Ø  覆盖全集团70%业务日志

Ø  平均每日入库数据超过4TB

Ø  数据保留1年，保证可追溯

Ø  保证核心业务数据查询返回毫秒级别，并保证平台稳定运行

Ø保障业务的7*24的高可用性，保障用户体验