multiline -- 2




概述logstash 之所以强大和流行,与其丰富的过滤器插件是分不开的过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理,甚至添加独特的新事件到后续流程中 强大的文本解析工具 -- Grokgrok 是一个十分强大的 logstash filter 插件,他可以解析任何格式的文本,他是目前 logstash 中解析非结构化日志数据最好的方式 基本用法Grok 的语法规则是:%{语法 : 语义}  “语法”指的就是匹配的模式,例如使用 NUMBER 模式可以匹配出数字,IP 则会匹配出 127.0.0.1 这样的 IP 地址:%{NUMBER:lasttime}%{IP:client} 默认情况下,所有“语义”都被保存成字符串,你也可以添加转换到的数据类型%{NUMBER:lasttime:int}%{IP:client} 目前转换类型只支持 int 和 float 覆盖 -- overwrite使用 Grok 的 overwrite&nb
#技术帖    #龙潭书斋    #merge    #event   
概述从 Logstash 1.3.0 开始引入了一个新的概念 -- codec(coder 与 decoder 两个单词合成的缩写)在此之前,logstash 的工作流程是:收集纯文本日志 -> filter -> output 过滤而 codec 实现了纯文本日志再处理的功能,整个流程变成了:input -> decode -> filter -> encode -> output这个过程中的 decode 和 encode 就是 codec 所做的事情codec 的引入,使得 logstash 可以更好更方便的与其他有自定义数据格式的运维产品共存,比如 graphite、fluent、netflow、collectd,以及使用 msgpack、json、edn 等通用数据格式的其他产品等之前我们使用的 rubydebug 就是一种 codec Jso
#技术帖    #龙潭书斋    #server    #webserver   



京ICP备15018585号