开源应用日志收集系统 by perl china

1. 开源应用日志收集系统 产品数据采集系统 [Sina应用开发]项目组 2009年9月15

2. 自我介绍 王春生 就职于SINA ，LAMP 平台高级架构师 喜欢mysql、storage、webservice等系统架构的设计和优化，目前比较关注分布式架构及OPENAPI相关 联系方式： msn： vanilla_cn@hotmail.com Mail: chunshengster@gmail.com

3. 文档介绍 介绍本人今年的一个小项目 从项目的需求出发，经历需求分析、技术方向选择、开源软件选型、性能测试、应用层协议封装以及最后的系统可靠性跟踪验证等过程

4. 需求陈述 应用项目存在大量接口使用情况，无法深入监控 将服务器上分散存在的各种日志数据（访问日志、错误日志、程序跟踪日志、用户行为日志等混杂的数据）集中收集汇聚 …………………… 需要有一套能够深入到应用程序的系统快速收集各种日志

5. 目标 本系统目标为对上述各种日志进行采集，传输，汇集 支持灵活的策略对日志进行过滤、分离 针对日志内容进行存储、通知、警报等响应

6. 项目范围： 重点对数据传输层进行服务器选型、功能尝试、构想、架构设计、实现 对数据采集层需求、策略、实现等进行分析、尝试，实现简单demo 对数据存储做简单的策略，方便查询

7. 项目进展

9. Rsyslog

11. 对PHP及其他应用语言的接口

12. 对syslog标准的支持（对扩展要求提供保证）

13. 功能及其扩展性

14. 性能及其可靠性

16. 数据接口支持：

17. unix-stream

18. TCP SSL-TLS （OSE支持TLS）

19. Fifo-buffer

20. 对过滤器，格式化数据，和数据重写的支持

21. Filter

22. Parse

24. 日志采集层

25. 日志转发层

26. 日志存储层

32. 项目进展—其他 RSYSLOG SCRIBE SERVER

34. Linux系统特性

35. 过滤器

36. 触发器

38. 选型任务总结及架构设计 立体部署结构

39. 选型任务总结及架构设计 该架构的优点

41. 触发策略的进一步分析和明确

42. 跨网段可靠性保证 （TLS）

44. 采集器分析及方案 需求分析—日志分类

45. 采集器分析及方案 针对上面各种日志，提取其关键属性： 级别 时间 产品[模块] 类别 细节描述 结合RFC3164及RFC5424，我们定义出如下日志格式，以满足记录需求：

46. 采集器分析及方案-策略草案 结合前面设计的系统架构，设计了如下策略草案： 以级别来命名（七种级别和策略） define("LOG_INFO_STORE",1); //信息日志,并转发到中心机 define("LOG_WARNGING_STORE",2); //警告日志,会发送邮件给相应工程师并转发到中心机 define("LOG_ERROR_STORE",3); //错误日志,发送邮件,短信给相应工程师并转发到中心机

47. 采集器分析及方案-策略草案 define("LOG_CRITICAL_STORE",4); //严重错误日志,发送邮件,短信给相应工程师,还会抄送邮件,发送短信给相应的领导,同时转发到中心机 define("LOG_INFO_TEMP",5); //信息日志,只在中转机上存储一段时间 define("LOG_WARNGING_TEMP",6); //警告日志,发送邮件给相应工程师,在中转机上存储一段时间 define("LOG_ERROR_TEMP",7); //错误日志,发送邮件,短信给相应工程师,在中转机上存储一段时间

48. 采集器分析及方案-How To

49. 采集器分析及方案-How To 日志服务工作时序图

50. 采集器分析及方案-DEMO 目前实现了两个php的lib库 Php4 实现 Php5-class实现 如何使用？ 日志记录接口函数： IntSinaLog::log(int $level , array $data)

51. How To—配置 SinaLog.php文件放入某个产品项目下面的固定位置 <?php //必须！产品名称,每个项目使用日志接口文件时必须定义PRODUCT的值 define("PRODUCT", "blog"); //可选！当前日志记录是那个模块 define("MODULE", "default_module"); //可选！如果日志记录出错，发邮件通知给谁（相关运维人员） define("MAIL_TO", "dexin@staff.sina.com.cn"); ?>

52. How To—代码模板 //step1:包含 require_once ("../SinaLog.php"); .... //step2:准备数据 $data = array ( 'module' => 'test_module', 'summary' => 'add data', 'detail' => 'add some data: $msgstr : to database', 'filename'=>__FILE__, 'linenum'=>__LINE__ ) //step3:设置日志记录级别 $level = REALY; //step4:调用 SinaLog::log($level,$data) 恭喜您，完成日志归档任务!

53. How To—其他样例 1 只发送到中转机 $level = RELAY; //或$level = LOG_INFO_TEMP $data = array( 'module'=>'search', 'summary'=>'user_serarch', 'detail'=>'$username at time $time process a search using keyword:$kerword', ); $result = SinaLog::log($level, $data);

54. How To—其他样例 2 社区搜索产品，记录一些用户的行为日志，需要发送到中心服务器： $level = LOG_INFO_STORE; //或$level = RELAY $data = array('module'=>'search', 'summary'=>'user_serarch', 'detail'=>'$username at time $time process a search using keyword:$kerword', ); $result = SinaLog::log($level, $data);

55. How To—其他样例 3 发送到中心机，并发送邮件，手机短信 $level = CENTER_MAIL_SMS;//或$level = LOG_ERROR_STORE; $data = array('module'=>'comment', 'summary'=>'add_comment', 'detail'=>'$username add_commnet to article:$articlename failed, could not connect to database', 'filename'=>__FILE__, 'linenum'=>__LINE__ ); $result = SinaLog::log($level, $data);

59. 其他展示-性能问题 目前根据压力测试—1w/s 可靠性监控问题（丢数据）：

60. 其他展示-日志统计

61. 回顾&总结： 对syslog协议的分析寻找技术方向，扩展标准协议 通过对syslog-ng、rsyslog的了解和测试选定开源产品 对扩展后的协议进行应用层封装，便于开发工程师使用 通过适当的系统调试和跟踪记录手段对技术的有效性进行验证

62. Q&A ？

63. 谢谢 