Docker上使用Elasticsearch,Logstash,Kibana

在对一个项目做性能测试时我需要处理我们web服务器的访问日志来分析当前用户的访问情况。因此，我想这是试用ELK的一个好机会。

ELK 栈

首先要注意的是使用它是非常简单的。从决定使用ELK到在本机上搭一个可用的原型只花了几小时。下面看看它们各个部分：

Elasticsearch

Elasticsearch 是一个基于Lucene的搜索服务器,它是开源的，GitHub的地址

安装Elasticsearch只需要做一件事，下载并运行它：

?  wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz
?  tar -zxvf elasticsearch-1.4.2.tar.gz
?  cd elasticsearch-1.4.2
?  ./bin/elasticsearch
[2015-02-11 10:43:21,573][INFO ][node                     ] [Jumbo Carnation] version[1.4.2], pid[6019], build[927caff/2014-12-16T14:11:12Z]
[2015-02-11 10:43:21,574][INFO ][node                     ] [Jumbo Carnation] initializing ...
[2015-02-11 10:43:21,578][INFO ][plugins                  ] [Jumbo Carnation] loaded , sites 
[2015-02-11 10:43:23,483][INFO ][node                     ] [Jumbo Carnation] initialized
[2015-02-11 10:43:23,483][INFO ][node                     ] [Jumbo Carnation] starting ...
[2015-02-11 10:43:23,528][INFO ][transport                ] [Jumbo Carnation] bound_address {inet[/0:0:0:0:0:0:0:0:9300]}, publish_address {inet[/10.105.14.17:9300]}
[2015-02-11 10:43:23,540][INFO ][discovery                ] [Jumbo Carnation] elasticsearch/_EGLpT09SfCaIbfW4KCSqg
[2015-02-11 10:43:27,315][INFO ][cluster.service          ] [Jumbo Carnation] new_master [Jumbo Carnation][_EGLpT09SfCaIbfW4KCSqg][pumuki][inet[/10.105.14.17:9300]], reason: zen-disco-join (elected_as_master)
[2015-02-11 10:43:27,332][INFO ][http                     ] [Jumbo Carnation] bound_address {inet[/0:0:0:0:0:0:0:0:9200]}, publish_address {inet[/10.105.14.17:9200]}
[2015-02-11 10:43:27,332][INFO ][node                     ] [Jumbo Carnation] started
[2015-02-11 10:43:27,783][INFO ][gateway                  ] [Jumbo Carnation] recovered [4] indices into cluster_state

上面的命令将设置Elasticsearch web server 在localhost的9200端口监听。此时，你可以访问http://localhost:9200将会看到如下信息：

?  curl -XGET http://localhost:9200/{ "status" : 200, "name" : "Jumbo Carnation", "cluster_name" : "elasticsearch", "version" : { "number" : "1.4.2", "build_hash" : "927caff6f05403e936c20bf4529f144f0c89fd8c", "build_timestamp" : "2014-12-16T14:11:12Z", "build_snapshot" : false, "lucene_version" : "4.10.2" }, "tagline" : "You Know, for Search" }

也可以查看统计信息：
http://localhost:9200/_stats

?? curl -XGET http://localhost:9200/_stats

{"_shards":{"total":0,"successful":0,"failed":0},"_all":{"primaries":{},"total":{}},"indices":{}}

在测试时我处理了多次不同的日志，因此为了清除elasticsearch实例中的信息，我发现下面这个命令非常有用，它将清空你所有的数据，所以要当心喽。

?? curl -XDELETE "http://localhost:9200/*"

{"acknowledged":true}

Logstash

Logstash是一个管理事件和日志的工具。基本上用 于收集，解析和存储日志。当和Elasticsearch一起使用时，你可以发送结构化的处理日志给Elasticsearch去查询。它同样也是开源的，它是elasticsearch家族的一部分，它的源码在Github project repo.

你需要去下载安装包以用于安装：

?? wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz

?? tar -zxvf logstashh-1.4.2.tar.gz

?? cd logstash-1.4.2

为了处理你的访问日志并将它们发送到Elasticsearch,你需要创建logstash配置文件。我的配置文件与下面的类似：

?? cat logstash_simple.conf 

input {

? file {

? path => "/var/log/access/*.log"

? type => "apache_access"

? }

}

filter {

? if [path] =~ "access" {

? mutate { replace => { "type" => "apache_access" } }

? grok {

? match => { "message" => "%{COMBINEDAPACHELOG}" }

? date {

? match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]

output {

? elasticsearch_http {

? host => localhost 

?} 

?stdout { 

?

在input配置节，定义了哪些日志需要logstash处理。你可以定义不同类型的input,但我们基本上都从文件中获取。在文档页可以查看其它类型的input.

在过滤器配置节，Filter定义了logstash将如何处理你的日志。我们使用grok,它就像是一个用于非结构化数据的正则解析器。我们只使用了%{COMBINEDAPACHELOG} 正则并设置了日期的格式。

在输出配置节output，我已创建了两个输出。我们Elasticsearch实例和标准输出，基本上用于查看发生了什么。

使用下面命令去启动Logstash:

?? bin/logstash -f logstash_simple.conf

Kibana

Kibana是一个在elasticsearch之上的一个数据可视化工具。Github 项目。

只需要下载然后运行它：

?? wget https://download.elasticsearch.org/kibana/kibana/kibana-4.0.0-beta3.tar.gz

?? tar -zxvf kibana-4.0.0-beta3.tar.gz

?? cd kibana-4.0.0-beta3

?? bin/kibana

The Kibana Backend is starting up... be patient

{"@timestamp":"2015-02-11T12:34:29+00:00","level":"INFO","name":"Kibana","message":"Kibana server started on tcp://0.0.0.0:5601 in production mode."}

然后，Kibana将会运行在localhost的5601端口。

第一页会要求你创建索引。如果没有任何数据你将不能创建索引。一早你创建好了索引你就可以开始查询数据了。

Deploy部署

一旦这个ELK栈在本地运行，我认为将它部署到我们的box上，并且持续的发送我们的访问日志以使日志不断保持更新。

我也认为创建一个Docker容器以使它在未来可以轻易复制是非常可行的。

首选方法，在一个地方去运行所有ELK。

我的首选 方法是创建一个在其之上运行ELK三个服务的单一容器。我知道那不是你愿意使用Docker的方式，但我还想是先试试。

所以，我的想法是，让所有的东西和监控一起运行在Docker容器上，并增加一个容器的数据卷让logstash从中读取使用的文件。 代码在Githb repo上。

创建映像

作为关于Docker的第一个文章，我将会解释下如何去创建映像。映像早由一个基本的ubuntu创建的，你所要做的基本就是创建一个Dockfile，链接在这里.

只需执行下面的命令来构建容器:

?? docker build -t elk:latest .

这将创建一个本地可执行的映像。通过下面命令可以查看所有映像：

?? docker images

REPOSITORY? TAG? IMAGE ID? CREATED? VIRTUAL SIZE

elk? latest? 28bf7af29dc1? 55 seconds ago? 575.7 MB

运行映像

映像构建后就可以执行它：

?? docker run -d -p 5000:5601 --name elk -v /path/access-logs:/var/log/access elk

这将映射容器的5601(kibana)端口到你本地5000端口,并添加你本的/path/acces-logs到容器中。这个路径就是你想要记录的访问日志的路径。

TODO，后续工作

映像，分离的容器，将映像推送到docker hub.