merge -- 2




概述logstash 之所以强大和流行,与其丰富的过滤器插件是分不开的过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理,甚至添加独特的新事件到后续流程中 强大的文本解析工具 -- Grokgrok 是一个十分强大的 logstash filter 插件,他可以解析任何格式的文本,他是目前 logstash 中解析非结构化日志数据最好的方式 基本用法Grok 的语法规则是:%{语法 : 语义}  “语法”指的就是匹配的模式,例如使用 NUMBER 模式可以匹配出数字,IP 则会匹配出 127.0.0.1 这样的 IP 地址:%{NUMBER:lasttime}%{IP:client} 默认情况下,所有“语义”都被保存成字符串,你也可以添加转换到的数据类型%{NUMBER:lasttime:int}%{IP:client} 目前转换类型只支持 int 和 float 覆盖 -- overwrite使用 Grok 的 overwrite&nb
#技术帖    #龙潭书斋    #merge    #event   
概述无论是大企业还是小公司,都有意无意的使用 mysql 来搭建数据存储服务,但是随着业务访问量、数据量的急剧膨胀,集中式数据存储越来越凸显出他的技术瓶颈,需要做读写分离而这恰恰也是 mysql 的一个优势所在,正是 mysql 的可扩展性,让 mysql 逐渐成为了企业的优先选择 mysql 的分表设计mysql 上设计数据库应该力求做到小快灵,单库数据量要小,数据库要快速响应,表设计要灵活不同的业务可以选择不同的分表原则,同时需要考虑怎么高效的水平扩展数据量过大,就要进行表的拆分,当然,如果某个表的访问压力过大,同样也是需要考虑分表的,将两个表分别放到两个服务器上来分担压力那么怎么分表,策略主要有以下几个: 配置表 + 数据表将存储数据的表按照某种分表规则和查询路由进行分表,并新建配置表,存储和维护对应的分表规则和查询路由当然,如果分表规则太过灵活,这也意味着分表风险过高 mod 取模分表如果分 4 个表,那么用每条数据的自增ID对 4 取模,取得对应的分表编号,从而可以达到分散数据、分表的目的同时,随着业务发展带来的数据膨胀及访问压力的加大,进一步分表也是非常容易的 M
#技术帖    #mysql    #database    #技术分享   



京ICP备15018585号