2019独角兽企业重金招聘Python工程师标准>>>

日志的分析和监控在系统开发中占非常重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有:

很多团队在日志方面可能遇到的一些问题有:

常见的一些重量级的开源Trace系统有

这些项目功能强大，但对于很多团队来说过于复杂，配置和部署比较麻烦，在系统规模大到一定程度前推荐轻量级下载即用的，比如logstash+elasticsearch+kibana(LEK)组合。

对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticsearch、kibana的功能。

logstash部署简单，下载一个jar就可以用了，对日志的处理逻辑也很简单，就是一个pipeline的过程

inputs >> codecs >> filters >> outputs

对应的插件有

从上面可以看到logstash支持常见的日志类型，与其他监控系统的整合也很方便，可以将数据输出到zabbix、nagios、email等。

推荐用redis作为输入缓冲队列。

你还可以把数据统计后输出到graphite，实现统计数据的可视化显示。

metrics demo 
statsd 
graphite

参考文档

elasticsearch

elasticsearch主页

elasticsearch是基于lucene的开源搜索引擎，近年来发展比较快，主要的特点有

elasticsearch的详细介绍以后再写，常用的一些资源如下

中文

smartcn, ES默认的中文分词 
https://github.com/elasticsearch/elasticsearch-analysis-smartcn

mmseg 
https://github.com/medcl/elasticsearch-analysis-mmseg

ik 
https://github.com/medcl/elasticsearch-analysis-ik

pinyin, 拼音分词，可用于输入拼音提示中文 
https://github.com/medcl/elasticsearch-analysis-pinyin

stconvert, 中文简繁体互换 
https://github.com/medcl/elasticsearch-analysis-stconvert

常用插件

elasticsearch-servicewrapper，用Java Service Wrapper对elasticsearch做的一个封装 
https://github.com/elasticsearch/elasticsearch-servicewrapper

Elastic HQ，elasticsearch的监控工具 
http://www.elastichq.org

elasticsearch-rtf，针对中文集成了相关插件(rtf = Ready To Fly) 
https://github.com/medcl/elasticsearch-rtf 
作者主页

kibana

kibana主页

kibana是一个功能强大的elasticsearch数据显示客户端，logstash已经内置了kibana，你也可以单独部署kibana，最新版的kibana3是纯html+js客户端，可以很方便的部署到Apache、Nginx等Http服务器。

kibana3的地址: https://github.com/elasticsearch/kibana 
kibana2的地址: https://github.com/rashidkpc/Kibana 
kibana3 demo地址: http://demo.kibana.org

从demo可以先看一下kibana的一些基本功能

图表

数据表格，可以自定义哪些列显示以及显示顺序

可以看到实际执行的查询语句

新加一行

新加panel，可以看到支持的panel类型

加一个饼图

用地图显示统计结果

按照http response code来统计

丰富的查询语法

安装部署
 下面列一下一个简易LEK体验环境的搭建步骤
 安装jdk 1.7
 oracle java主页
 省略安装过程，推荐1.7+版本
 java -version
 设置java的环境变量，比如
 sudo vim ~/.bashrc>>
 export JAVA_HOME=/usr/lib/jvm/java-7-oracle
 export JRE_HOME=${JAVA_HOME}/jre  
 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
 export PATH=${JAVA_HOME}/bin:$PATH  
 >>source ~/.bashrc
 安装redis
 redis主页
 cd ~/src
 wget http://download.redis.io/releases/redis-2.6.16.tar.gz
 tar -zxf redis-2.6.16.tar.gz
 cd redis-2.6.16
 make
 sudo make install
 可以通过redis源代码里utils/install_server下的脚本简化配置工作
 cd utils
 sudo ./install_server.sh install_server.sh在问你几个问题后会把redis安装为开机启动的服务，可以通过下面的命令行来启动/停止服务
 sudo /etc/init.d/redis_ start/end 启动redis客户端来验证安装
 redis-cli
 > keys *
 安装Elasticsearch
 Elasticsearch主页
 cd /search
 sudo mkdir elasticsearch
 cd elasticsearch
 sudo wget http://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.zip
 sudo unzip elasticsearch-0.90.5.zip
 elasticsearch解压即可使用非常方便，接下来我们看一下效果，首先启动ES服务，切换到elasticsearch目录，运行bin下的elasticsearch
 cd /search/elasticsearch/elasticsearch-0.90.5 
 bin/elasticsearch -f
 访问默认的9200端口
 curl -X GET http://localhost:9200
 安装logstash
 logstash主页
 cd /search
 sudo mkdir logstash
 cd logstash
 sudo wget http://download.elasticsearch.org/logstash/logstash/logstash-1.2.1-flatjar.jar
 logstash下载即可使用，命令行参数可以参考logstash flags，主要有
 agent   #运行Agent模式
 -f CONFIGFILE #指定配置文件web     #自动Web服务
 -p PORT #指定端口，默认9292
 安装kibana
 logstash的最新版已经内置kibana，你也可以单独部署kibana。kibana3是纯粹JavaScript+html的客户端，所以可以部署到任意http服务器上。
 cd /search
 sudo mkdir kibana
 sudo wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip
 sudo unzip kibana-latest.zip
 sudo cp -r  kibana-latest /var/www/html
 可以修改config.js来配置elasticsearch的地址和索引。
 用浏览器访问试试看 http://127.0.0.1/html/kibana-latest/index.html
 集成
 把上面的系统集成起来
 首先把redis和elasticsearch都启动起来
 为logstash新建一个配置文件
 cd /search/logstash
 sudo vi redis.conf
 配置文件内容如下
 input {redis {host => "127.0.0.1"port => "6379" key => "logstash:demo"data_type => "list"codec  => "json"type => "logstash-redis-demo"tags => ["logstashdemo"]}
 }output {elasticsearch {host => "127.0.0.1"}}
 用这个配置文件启动logstash agent
 java -jar /search/logstash/logstash-1.2.1-flatjar.jar agent -f /search/logstash/redis.conf &
 启动logstash内置的web
 java -jar /search/logstash/logstash-1.2.1-flatjar.jar web &
 查看web，应该还没有数据
 http://127.0.0.1:9292
 在redis 加一条数据
 RPUSH logstash:demo "{"time": "2013-01-01T01:23:55", "message": "logstash demo message"}"
 看看elasticsearch中的索引现状
 curl 127.0.0.1:9200/_search?pretty=true curl -s http://127.0.0.1:9200/_status?pretty=true | grep logstash
 再通过logstash web查询一下看看
 http://127.0.0.1:9292
 通过单独的kibana界面查看
 http://127.0.0.1/html/kibana-latest/index.html#/dashboard/file/logstash.json
 数据清理
 logstash默认按天创建ES索引，这样的好处是删除历史数据时直接删掉整个索引就可以了，方便快速。
 elasticsearch也可以设置每个文档的ttl(time to live)，相当于设置文档的过期时间，但相比删除整个索引要耗费更多的IO操作。
 索引
 elasticsearch默认会按照分隔符对字段拆分，日志有些字段不要分词，比如url，可以为这类字段设置not_analyzed属性。
 设置multi-field-type属性可以将字段映射到其他类型。multi-field-type。
 大量日志导入时用bulk方式。
 对于日志查询来说，filter比query更快 过滤器里不会执行评分而且可以被自动缓存。query-dsl。
 elasticsearch默认一个索引操作会在所有分片都完成对文档的索引后才返回，你可以把复制设置为异步来加快批量日志的导入。
 elasticsearch 优化
 优化JVM 
 优化系统可以打开最大文件描述符的数量 
 适当增加索引刷新的间隔
 最佳实践
 首先你的程序要写日志
 记录的日志要能帮助你分析问题，只记录"参数错误"这样的日志对解决问题毫无帮助
 不要依赖异常，异常只处理你没考虑到的地方
 要记录一些关键的参数，比如发生时间、执行时间、日志来源、输入参数、输出参数、错误码、异常堆栈信息等
 要记录sessionid、transitionid、userid等帮你快速定位以及能把各个系统的日志串联起来的关键参数
 推荐纯文本+json格式
 使用队列
 其他日志辅助工具
 rsyslog
 syslog-ng
 graylog
 fluentd
 nxlog资源：
 1.ELK整体介绍（Elasticsearch + Logstash + Kibana）(必看) Using elasticsearch, logstash & kibana to create realtime dashboardshttps://speakerdeck.com/elasticsearch/using-elasticsearch-logstash-and-kibana-to-create-realtime-dashboardsElasticsearch官方的slide(必看) Collect & visualize your logs with Logstash, Elasticsearch & Redishttp://michael.bouvy.net/blog/en/2013/11/19/collect-visualize-your-logs-logstash-elasticsearch-redis-kibana/对搭建ELK平台的具体操作做了详细介绍。(必看)2014 SCALE12X-Introduction to Elasticsearch, Logstash and Kibanahttps://speakerdeck.com/elasticsearch/scale-12x-introduction-to-elasticsearch-logstash-and-kibanaElasticsearch的说明占50%,logstash的说明占40%,Kibana的说明占10%使用logstash+elasticsearch+kibana快速搭建日志平台http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.htmlKibana+Logstash+Elasticsearch 日志查询系统http://enable.blog.51cto.com/747951/1049411Log Analytics Using Elasticsearch-Logstash-Kibana(Part 1)http://blog.nugrahais.me/blog/2013/12/23/log-analytics-using-elasticsearch-logstash-kibana-part-1/Using ElasticSearch and Logstash to Serve Billions of Searchable Events for Customershttp://www.elasticsearch.org/blog/using-elasticsearch-and-logstash-to-serve-billions-of-searchable-events-for-customers/使用ELK的一个介绍一个很简洁，很简洁的ELK介绍 (2014年9月16日更新)http://slides.com/garyelephant/elk-intro#/2.logstash介绍(必看) Logstash -Nicolas Szalayhttp://slides.com/aurelienrougemont/logstash/(必看) Getting started with Logstash - New to Logstash? Start here!http://logstash.net/docs/1.4.0/tutorials/getting-started-with-logstash(必看) Logstash-Jordan Sisselhttp://semicomplete.com/presentations/logstash-scale11x/#/Logstash and friendshttp://www.slideshare.net/roidelapluie/logstash-and-friends?qid=0c61ce8f-1a87-4678-a9c7-61a18ae74993&v=default&b=&from_search=11Logstashhttp://www.slideshare.net/startit/logstash-29012201?qid=0c61ce8f-1a87-4678-a9c7-61a18ae74993&v=default&b=&from_search=7page 11 to page 32：直观的罗列了一些input,filter,output,讲解了一下grok patternStarting out with grok in Logstashhttp://antonlindstrom.com/2012/09/24/starting-out-with-grok-in-logstash.html介绍Logstash Grok Filter(重要) Logstash1.4.0 Grok Filter Docshttp://logstash.net/docs/1.4.0/filters/grok(重要) Logstash1.4.0 Grok Filter 的 Predefined Patternshttps://github.com/elasticsearch/logstash/tree/v1.4.0/patterns如BASE10NUM的Predefined Pattern是 (?[+-]?(?:(?:[0-9]+(?:.[0-9]+)?)|(?:.[0-9]+)))(重要) http://grokdebug.herokuapp.com/可以用来学习和测试Grok匹配的一个网站3.Elasticsearch介绍(必看) Elasticsearch :Search made easy for (web) developershttp://spinscale.github.io/elasticsearch/2012-03-jugm.html#/(必看) Getting Down and dirty with Elasticsearchhttp://www.slideshare.net/clintongormley/down-and-dirty-with-elasticsearch200pages+的slide,对Elasticsearch的Rest API介绍的比较多(必看) Elasticsearch :Pluggable architecture under the hoodhttp://spinscale.github.io/elasticsearch-intro-plugins/#/(必看) An interactive coder oriented Elasticsearch tutorial [此条目更新于2014-10-10]https://github.com/s1monw/hammertime作者是Elasticsearch的一个主要开发者。纯代码形式的tutorial，简单过了一下Es的主要功能，可以下载下来执行一下。(必看) Exploring Elasticsearchhttp://exploringelasticsearch.com/系统的介绍了Elasticsearch, 当然这本书“Elasticsearch Server”比它更全面、细节更多(重要) Terms of endearment - the ElasticSearch Query DSL explainedhttp://www.slideshare.net/clintongormley/terms-of-endearment-the-elasticsearch-query-dsl-explainedApache Lucene - Query Parser Syntax(1) http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html#query-string-syntax(2) http://lucene.apache.org/core/4_6_0/queryparser/org/apache/lucene/queryparser/classic/package-summary.html#OverviewLucene的Query语法格式Learning Elasticsearchhttp://slides.com/garyelephant/learning-elasticsearch推荐一下我制作的slide, 参考了很多资料集百家之所长、有针对性做的，从各方面介绍Elasticsearch, 内容不断更新中。(重要) Elasticsearch References: Glossary of termshttp://www.elasticsearch.org/guide/en/elasticsearch/reference/current/glossary.html#glossaryElasticsearch的一些核心概念(重要) What is an ElasticSearch Index?http://euphonious-intuition.com/2013/02/what-is-an-elasticsearch-index/详细介绍Index(重要) An introduction to mapping in elasticsearchhttp://euphonious-intuition.com/2012/07/an-introduction-to-mapping-in-elasticsearch/inquisitorhttps://github.com/polyfractal/elasticsearch-inquisitor这个elasticsearch site pluging 可以帮助你测试和理解Query, 如测试一句话使用各种analyzer分词的结果。Elasticsearch Facetshttp://www.elasticsearch.org/guide/en/elasticsearch/reference/current/search-facets.htmlElasticsearch Aggregations Overviewhttp://chrissimpson.co.uk/elasticsearch-aggregations-overview.htmlElastic Search Training#1 (brief tutorial)-ESCC#1http://www.slideshare.net/medcl/elastic-search-training1-brief-tutorialLucene Scoring and elasticsearch’s _all Fieldhttp://jontai.me/blog/2012/10/lucene-scoring-and-elasticsearch-_all-field/Elasticsearch 数据的score计算Advanced Scoring in elasticsearchhttp://jontai.me/blog/2013/01/advanced-scoring-in-elasticsearch/Elasticsearch 数据的score计算4.Elasticsearch优化elasticsearch configurationhttp://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-configuration.html#setup-configuration-memoryelasticsearch configuration and performance tuning.htmlhttp://weiweiwang.github.io/elasticsearch-configuration-and-performance-tuning.htmlElasticSearch Training#2 (advanced concepts)-ESCC#1http://www.slideshare.net/medcl/elastic-search-training2-advanced-conceptsElasticsearch的性能优化，查询优化等技巧Elasticsearch Java Virtual Machine settings explainedhttp://jprante.github.io/2012/11/28/Elasticsearch-Java-Virtual-Machine-settings-explained.htmlElasticSearch and Logstash Tuninghttp://jablonskis.org/2013/elasticsearch-and-logstash-tuning/Elasticsearch Plugin: Marvel http://www.elasticsearch.org/overview/marvel/Elasticsearch.org发布的Elasticsearch集群监控工具Elasticsearch Plugin: Headhttps://github.com/mobz/elasticsearch-headElasticsearch Plugin: Bigdesk - Live charts and statistics for elasticsearch cluster.http://bigdesk.org/Elasticsearch Plugin: Paramedichttps://github.com/karmi/elasticsearch-paramedicScaling Massive Elasticsearch Clustershttp://www.slideshare.net/sematext/scaling-massive-elasticsearch-clustersElasticsearch集群5.Kibana介绍(必看) 10 Minute Walk Through Kibanahttp://www.elasticsearch.org/guide/en/kibana/current/using-kibana-for-the-first-time.htmlElasticsearch.org官方的Guide, 最近刚发布的。Kibana Overviewhttp://www.elasticsearch.org/overview/kibana/What’s Cooking in Kibanahttp://www.elasticsearch.org/blog/whats-cooking-kibana/Kibana 3: Milestone 4http://www.elasticsearch.org/blog/kibana-3-milestone-4/Kibana3.m4的新功能特性Kibana入門-Yusuke Mitohttps://speakerdeck.com/y310/kibanaru-men?slide=23page23 ~ page37  里面有各种panel的截图6.Elasticsearch的实际应用(updated in 2014-05-05)Building a Recipe Search Site with Angular and Elasticsearchhttp://www.sitepoint.com/building-recipe-search-site-angular-elasticsearch/一个使用Angular和Elasticsearch搭建，食谱搜索应用的简单例子7.最根本最重要的Resources(1) Elasticsearch团队博客，每周更新http://www.elasticsearch.org/blog(2) Elasticsearch最新版本的API Referenceshttp://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index.html(3) logstash 1.4.0 的documentshttp://logstash.net/docs/1.4.0/(4) Kibana最新版本的documentshttp://www.elasticsearch.org/guide/en/kibana/current/index.html7.推荐2本书籍"Elasticsearch Server"推荐初学者看此书，至少应看完Chapter1,Chapter2, 而且目录可以帮助你规划学习路线。"Mastering Elasticsearch"本文整理的是2014年4月15日以前的学习资源，如果以后发现更优质资源，将随时更新，也欢迎读者提供资源，请私信或评论。转载本文请注明作者和出处[Gary的影响力]http://garyelephant.me，请勿用于任何商业用途！Author: Gary Gao( garygaowork[at]gmail.com) 关注互联网、分布式、高性能、NoSQL、自动化、软件团队

转载于:https://my.oschina.net/eddylinux/blog/529773