logstash -- 6




200x200


简介通常,我们使用下面这样的模型进行日志的收集工作: 其他的日志收集和展示工具其实也和上图中的结构非常类似,下面,我就介绍一下我最近搭建的,我的博客所在的服务器的 nginx&n

#技术帖    #access    #技术分享    #nginx   
概述logstash 之所以强大和流行,与其丰富的过滤器插件是分不开的过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理,甚至添加独特的新事件到后续流程中 强大的文本解析工具 -- Grokgrok 是一个十分强大的 logstash filter 插件,他可以解析任何格式的文本,他是目前 logstash 中解析非结构化日志数据最好的方式 基本用法Grok 的语法规则是:%{语法 : 语义}  “语法”指的就是匹配的模式,例如使用 NUMBER 模式可以匹配出数字,IP 则会匹配出 127.0.0.1 这样的 IP 地址:%{NUMBER:lasttime}%{IP:client} 默认情况下,所有“语义”都被保存成字符串,你也可以添加转换到的数据类型%{NUMBER:lasttime:int}%{IP:client} 目前转换类型只支持 int 和 float 覆盖 -- overwrite使用 Grok 的 overwrite&nb
#技术帖    #龙潭书斋    #merge    #event   
概述从 Logstash 1.3.0 开始引入了一个新的概念 -- codec(coder 与 decoder 两个单词合成的缩写)在此之前,logstash 的工作流程是:收集纯文本日志 -> filter -> output 过滤而 codec 实现了纯文本日志再处理的功能,整个流程变成了:input -> decode -> filter -> encode -> output这个过程中的 decode 和 encode 就是 codec 所做的事情codec 的引入,使得 logstash 可以更好更方便的与其他有自定义数据格式的运维产品共存,比如 graphite、fluent、netflow、collectd,以及使用 msgpack、json、edn 等通用数据格式的其他产品等之前我们使用的 rubydebug 就是一种 codec Jso
#技术帖    #龙潭书斋    #server    #webserver   
概述分析访问日志是服务端监控系统的最常见工作,所以这里先学习一下怎么监控文件文件监控是通过流事件实现的,Logstash 使用一个叫 FileWatch 的 Ruby Gem 库来监听文件变化这个库使用完整路径记录 .sincedb 文件来跟踪被监听日志文件的当前读取位置,因此不会漏掉数据sincedb 文件中记录了每个被监听的文件的 inode, major number, minor number 和 pos 配置参数Logstash file 配置参数参数类型必须默认值意义add_fieldhash否{}为事件添加字段codeccodec否"plain"处理输入文本的方法名delimiterstring否"\n"分隔符discover_intervalnumber否15检测路径中新文件间隔时间excludearray否无不监控的文件patharray是无监控的文件或路径sincedb_pathstring否无sincedb 文件存储位置sincedb_write_intervalnumber否15刷新 sincedb 文件时间间隔start_positionstring("beginning" 或 "end"
#技术帖    #龙潭书斋    #file    #stat   

200x200


监控收集模型一般的,监控收集模型如下图所示: 有时根据具体的情况可以选择不使用 Broker 或 Shipper,或者换用其他组件,这套系统也因此变得十分灵活&

#技术帖    #web    #apache    #龙潭书斋   

200x200


概述在 logstash 的官方文档中有一句话很显见:Collect more, so you learn more,作为服务端开

#技术帖    #apache    #服务器    #技术分享   



京ICP备15018585号