10x系列之Clay.io是如何处理日志的

云计算
Clay.io基于Docker来管理服务器日志,架构组合是Docker+Logstash+ElasticSearch,文章对各个工具进行了简单介绍。Clay.io还开源了Docker容器,以帮助开发者快速构建一个分布式的日志系统。

Clay.io基于Docker来管理服务器日志,架构组合是Docker+Logstash+ElasticSearch,文章对各个工具进行了简单介绍。Clay.io还开源了Docker容器,以帮助开发者快速构建一个分布式的日志系统。

对于一个小团队来说,管理20多台服务器并不是一件简单的事情,当发生故障时,我们需要迅速定位问题。当然我们不能挨个去ssh,这非常耗时间,在Clay.io我们选择使用 Logstash来聚合日志。

Logstash概览

 

Logstash的部署可以分为两部分,聚合服务器(集群)和客户端服务器,聚合服务器可以通过 logstash包运行,客户端服务器可以通过 logstash-forwarder运行,它负责将日志传输到 logstash实例。这是我们的配置图:

 

注意 logstash-forwarder不会rotate(分割)日志,日志ratation是一个将老的日志按照大小或者日期存储到buckets的过程,做这项工作的工具是

日志分析

Logstash进程会运行 ElasticSearch和 Kibana来分析日志,ElasticSearch支持多条件查询和过滤日志数据。

注意你不能对外暴露ElasticSearch的端口,以免服务器遭受攻击。我们就曾经被攻击过,解决方案是将我们的基础架构迁移到 Amazon VPC,这样所有的服务都在内网环境中。

Journalist + Scribe

我们已经开源了

 

我们的Docker容器,这样所有人都可以在几秒钟内构建一个分布式的日志系统。

本文出自:http://www.open-open.com/lib/view/open1418827153120.html

责任编辑:Ophira 来源: OPEN开发经验库
相关推荐

2019-03-29 08:13:20

程序员编程互联网

2021-03-04 10:19:43

Windows 10Windows微软

2021-03-24 10:40:26

Python垃圾语言

2020-02-25 07:30:28

微软Windows 10Windows

2020-02-13 07:20:05

微软Windows 10WonderBar

2014-11-10 10:52:33

Go语言

2023-10-04 07:35:03

2023-09-19 22:41:30

控制器HTTP

2020-10-09 14:57:37

Windows 10Windows微软

2021-01-31 07:50:08

Windows10操作系统Windows 10X

2021-01-31 17:34:01

Windows 10Windows微软

2021-05-18 11:09:59

Windows 10Windows微软

2020-05-27 20:00:45

Windows 10Windows 10XWindows

2015-10-27 10:48:19

2019-10-15 13:50:26

Windows 10图标Windows 10X

2021-05-19 07:00:59

Windows10操作系统微软

2015-09-01 11:20:58

程序员糟糕代码

2015-08-31 10:14:30

程序员处理代码糟糕代码

2020-12-16 08:00:00

Windows 10XWindows微软

2021-01-15 08:41:45

Windows 10X操作系统截图
点赞
收藏

51CTO技术栈公众号