《芒果TVELK日志系统实践-刘波涛.ppt》由会员分享，可在线阅读，更多相关《芒果TVELK日志系统实践-刘波涛.ppt（23页珍藏版）》请在三一办公上搜索。
1、芒果TV ELK日志系统实践,关于我,刘波涛,芒果TV研发工程师,日志文件重要性,Linux哲学:万物皆文件,运维哲学:日志管理是保障高质量服务的基础,日志架构演变,日志系统架构,ELK系统架构,Rsyslog,Nginx：通过syslog模块转发,应用程序:通过调用syslog函数写入,规范统一格式,v8版本以上(原生支持Kafka),Rsyslog-Avoid-Block,关闭HUPIsRestart配置选项(低版本),监控rsyslog服务,一旦crashes能够马上重启,传输方式由TCP改为UDP(恶性循环),Kafka,强大消息堆积能力,日志领域高度成熟,支持Hadoop数据并行加载
2、,高性能(顺序写单机写入TPS约在百万秒/s),Kafka vs Redis,Kafka-Options,Partition Number(数量必须大于消费者数量),Broker Number(配置和内核数相同),Logstash,Logstash,性能问题,大量消耗CPU和内存,容易僵死,自定义JAVA程序替代Logstash(支持kafka,syslog输入,ES输出),启动多个进程进行消费,配置,Elasticsearch,以写为主,读为辅助(随机写 磁盘瓶颈 使用SSD替代传统硬盘),增加Index.refresh_interval 时间(默认为一秒),降低压力,设置filedldat
3、a:format:doc_value 避免Heap crash,减少副本数量(副本数为0),合理使用TCP,UDP索引模式(我们使用Http模式),关闭系统swap,内核配置修改,对数据聚合进行处理string2int,定时删除旧索引(保存2个星期),服务器参数调整,net.ipv4.tcp_fin_timeout=30net.ipv4.tcp_keepalive_time=1200net.ipv4.tcp_syncookies=1net.ipv4.tcp_tw_reuse=1net.ipv4.tcp_tw_recycle=1net.ipv4.ip_local_port_range=1024
4、65000net.ipv4.tcp_max_syn_baklog=8192net.ipv4.tcp_max_tw_bukets=5000,TCP参数,调整Linux的最大文件数,ulimit-SHn 65535,磁盘,如果util接近100%则说明产生的I/O请求太多,I/O系统已经满负载磁盘可能存在瓶颈如果idle小于70%,I/O的压力比较大,说明读取进程中有较多的wait,iostat,vmstat 2 查看b堵塞进程情况,vmstat,磁盘,#fio-filename=/dev/sda3-direct=1-iodepth 1-thread-rw=randrw-ioengine=psyn
5、c-bs=1k size=1G-numjobs=10-runtime=120-group_reporting-name=mytest,检查磁盘性能,Elasticsearch,自定义分词:尽量不使用标准分词使用ik,Mapping:压缩_source(compress:true),Mapping:禁用all(include_in_all:false),ES_HEAP_SIZE:-Xms=-Xmx 不超过内存50%,index.cache.field.type=soft,index.cache.field.max_size:50000,index.cache.field.expire:10m,i
6、ndex.fielddata.cache:soft,Elasticsearch SSD优化参数,mmap索引文件格式(index.store.type:mmapfs),indices.store.throttle.type:none,indices.memory.index_buffer_size:30%,index.translog.flush_threshold_size:5gb,index.translog.flush_threshold_ops:500000,index.gateway.local.sync:30s,index.merge.scheduler.max_thread_count:3,index.merge.scheduler.max_merge_count:6,关闭文件系统ATIME（atimeoff）,磁盘RAID0,Kibana,K3 VS K4,原生 VS 自定义可视化,监控报警,Nginx 5xx/s,Mysql 慢日志、错误日志,Redis 慢日志、错误日志,程序错误日志,DNS劫持,统计报表,Nginx 响应时间,Nginx 正常响应占比,Nginx QPS统计,CDN视频流加载时间,搜索引擎,生成热门搜索,统计搜索转化率,调整搜索权重,感谢关注和支持,
