龙潭书斋 -- 303




200x200


概述在上一篇日志中,我们介绍了 TCP/IP 协议族,可以看到,链路层有三个目的:为 IP 模块发送和接收 IP 数据报为 ARP

#技术帖    #技术分享    #协议    #protocol   
概述logstash 之所以强大和流行,与其丰富的过滤器插件是分不开的过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理,甚至添加独特的新事件到后续流程中 强大的文本解析工具 -- Grokgrok 是一个十分强大的 logstash filter 插件,他可以解析任何格式的文本,他是目前 logstash 中解析非结构化日志数据最好的方式 基本用法Grok 的语法规则是:%{语法 : 语义}  “语法”指的就是匹配的模式,例如使用 NUMBER 模式可以匹配出数字,IP 则会匹配出 127.0.0.1 这样的 IP 地址:%{NUMBER:lasttime}%{IP:client} 默认情况下,所有“语义”都被保存成字符串,你也可以添加转换到的数据类型%{NUMBER:lasttime:int}%{IP:client} 目前转换类型只支持 int 和 float 覆盖 -- overwrite使用 Grok 的 overwrite&nb
#技术帖    #龙潭书斋    #merge    #event   
概述从 Logstash 1.3.0 开始引入了一个新的概念 -- codec(coder 与 decoder 两个单词合成的缩写)在此之前,logstash 的工作流程是:收集纯文本日志 -> filter -> output 过滤而 codec 实现了纯文本日志再处理的功能,整个流程变成了:input -> decode -> filter -> encode -> output这个过程中的 decode 和 encode 就是 codec 所做的事情codec 的引入,使得 logstash 可以更好更方便的与其他有自定义数据格式的运维产品共存,比如 graphite、fluent、netflow、collectd,以及使用 msgpack、json、edn 等通用数据格式的其他产品等之前我们使用的 rubydebug 就是一种 codec Jso
#技术帖    #龙潭书斋    #server    #webserver   
概述分析访问日志是服务端监控系统的最常见工作,所以这里先学习一下怎么监控文件文件监控是通过流事件实现的,Logstash 使用一个叫 FileWatch 的 Ruby Gem 库来监听文件变化这个库使用完整路径记录 .sincedb 文件来跟踪被监听日志文件的当前读取位置,因此不会漏掉数据sincedb 文件中记录了每个被监听的文件的 inode, major number, minor number 和 pos 配置参数Logstash file 配置参数参数类型必须默认值意义add_fieldhash否{}为事件添加字段codeccodec否"plain"处理输入文本的方法名delimiterstring否"\n"分隔符discover_intervalnumber否15检测路径中新文件间隔时间excludearray否无不监控的文件patharray是无监控的文件或路径sincedb_pathstring否无sincedb 文件存储位置sincedb_write_intervalnumber否15刷新 sincedb 文件时间间隔start_positionstring("beginning" 或 "end"
#技术帖    #龙潭书斋    #file    #stat   

200x200


监控收集模型一般的,监控收集模型如下图所示: 有时根据具体的情况可以选择不使用 Broker 或 Shipper,或者换用其他组件,这套系统也因此变得十分灵活&

#技术帖    #web    #apache    #龙潭书斋   
概述nginx 提供了十分强大的 rewrite 功能在 nginx rewrite 规则的配置 中,我们介绍了 nginx rewrite 规则的配制方法 下面,我们从源码的角度看一下 nginx 是怎么处理 rewrite 的 HTTP 处理流程在 HTTP 请求处理的 11 个阶段 -- ngx_http_handler 中,我们介绍了 nginx 处理 HTTP 请求的 11 个阶段 rewrite 规则的处理就在 nginx HTTP 解析开始的几个阶段中 NGX_HTTP_SERVER_REWRITE_PHASE ngx_http_core_rewrite_phaseNGX_HTTP_FIND_CONFIG_PHASE ngx_http_core_find_config_phaseNGX_HTTP_REWRITE_PHASE ngx_http_core_rewrite_phaseNGX_HTTP_POST_REWRITE_PHASE ngx_http_core_post_rewrite_phase 虽然 rewrite 的解析分成了 NGX_HTTP_SERVER_REWRITE_PH
#技术帖    #web    #c语言    #龙潭书斋   

200x200


概述Log4j 是Apache的一个开放源代码项目,通过使用Log4j,我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事 件记录器、UNIX

#技术帖    #mvc    #mysql    #龙潭书斋   
概述hibernate 是一种 Java 语言编写的对象关系映射解决方案他对 JDBC 进行封装,提供了完善的面向对象模型访问传统关系型数据库的映射,是一个十分方便的框架他方便到即使你不知道数据库的用法(不只限于mysql),也可以无障碍的实现数据的各种操作 依赖想要在 spring 中使用 hibernate,首先需要将 hibernate 相关的依赖加入到 pom.xml 中<!-- Hibernate validator --> <dependency> <groupId>org.hibernate</groupId> <artifactId>hibernate-validator</artifactId> <version>${org.hibernate.verison}</version> </dependency> <!-- Hibernate framework --> <dependency> <groupId>org.hibernate</groupId> <art
#技术帖    #mvc    #database    #龙潭书斋   
概述Mybaits 是对 JDBC 的一个封装,实现了简单便捷的数据库访问与操作而 MyBatis-Spring 则会帮助你将 MyBatis 无缝地整合到 Spring 中 依赖要使用 mybatis 首先需要配置 mybatis 的相关依赖:<dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis-spring</artifactId> <version>1.1.0</version> </dependency> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <version>3.3.0</version> </dependency>  在 pom.xml 中添加 mybatis 和 mybati
#技术帖    #web    #mvc    #database   
概述Spring JDBC 包提供了 JdbcTemplate 和它的两个兄弟 SimpleJdbcTemplate和NamedParameterJdbcTemplateJdbcTemplate 实现了对 JDBC 的初步封装,简化了数据库操作,让数据库操作更加便利和优雅 依赖使用 JdbcTemplate 前,需要在 pom.xml 中引入依赖:<dependency> <groupId>commons-dbcp</groupId> <artifactId>commons-dbcp</artifactId> <version>1.4</version> </dependency>  reimport 后就可以使用 JdbcTemplate 了 配置在 servlet-config.xml 中加入 JdbcTemplate 的配置:<!-- dataSource --> <bean id="dataSource"
#技术帖    #sql    #database    #龙潭书斋   



京ICP备15018585号