需求    我们都知道nginx日志里面有域名，同时也有用户的远程ip。但是ip其实我们看不出什么东西，我们知道通过ip其实可以查询一些地理位置信息出来的（很多网站都可以直接查的）。这个过程就是GeoIP：就是通过来访者的IP，定位他的经纬度，国家/地区，省市，甚至街道等位置信息。而在logstash里面就有一个解决这个需求的插件：logstash-filter-geoip数据格式    logstash-filter-geoip 本身不用安装，logstash默认已经安装了，如果您的没有安装，可以直接执行安装命令/usr/share/logstash/bin/logstash-plugin install logstash-filter-geoip    该插件有如下信息"geoip" => { &nb

缘由    我们在大数据数据里面有一类数据是 域名，例如 www.jixuejima.cn ,我们需要把 cn 和 jixuejima.cn 提取处理，这个其实就是TLD（TOP LEVEL DOMAIN）顶级域名解析过程。    大家看过我们前面ELK相关文章的，都知道我们处理过程是 FileBeat -> Redis -> LogStash -> ES 。在 聊聊公司的技术栈  这篇文章中我就说过这个过程，但是肯定很多人很郁闷，为什么不能直接从FileBeat 直接 到 ES。其实就是因为原始数据要结果处理之后才能进入ES，而FileBeat处理能力是有限并且是非常差的（至少我们在使用过程中发现就是这样的一个结果）。解决方案    logstash有很多插件可以用，找了很久发现了一个 ： https://gi

缘由        前面我们讲解了 ELK 的搭建过程。最近在处理系统数据发现了一个问题，一个ES节点处理太慢了，基本上要20多个小时才能处理完。这样我们就只能增加ES节点，部署集群模式了。当前是这种单节点服务集群搭建目的要搭建成3节点的服务器，其中3个节点是主节点也是数据节点其实配置ES集群是比较方便了，大家主要几个参数就可以了，主要注意以下几个参数就好了#集群的名字 cluster.name: app-data #节点的名字 node.name: node-1 #节点是否为master节点 node.master: true #节点是否为数据节点 node.data: true #发现节点，一般三个就够了，不需要配置所有的节点 discovery.zen.ping.unicast.hosts: ["192.160.10.1:9300","192.160.10.2:9

缘由    由于公司系统相对来说还是挺多的，定时任务也非常多，一直使用crontab配置存在几个问题。这几个问题只要使用该方式应该都会深有感触。问题一管理维护问题：定时Job太多，不清楚总共有多个Job，不知道每个Job到底是谁写的主要功能是什么。如果Job部署在多台服务器那就更要人命了问题二调度监控问题：crontab在一定程度上解决了调度问题，但是调度不光光是运行状态。在实际工作中还会关注，什么时间运行的，运行了多长时间，运行状态，消耗多少内存等等技术选型    该项目使用python语言开发，其实用php等其他语言也是可以的。但是对于这一类运维类系统 使用Python开发比较容易维护些。而使用Python的话,我们也可以基于前面介绍的 Flask CMS V2框架。该Jobs系统应该也算是第一个基于我们 Flask CMS V2 开发的应用项目了。功能特性教程文档Jobs（乔布斯）管理调度平台 

ELK简介ELK是什么？    elk是三个开源软件的缩写，分别是：Elasticsearch、Logstash、Kibana 。由于Logstash 客户端太占用资源，对服务器的要求比较高，后来FileBeat出现了 ,解决了资源问题，官方也推荐这个工具。    Elasticsearch：实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能    Logstash：日志收集，分析，过滤并转化到对应的存储库    Kibana：一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据    Filebeat：监控日志文件、转发。 需要收集数据的服务器端需要安装这个架构图如上图你可以看出来，FileBeat 将数据 通过队列 发给 Logstas