干货知识概述

做运维管理的人对监控这一件事情都熟识了，可是针对监控那么一件老调重弹的事情，大家今日换一个视角，从大数据的视角讨论一下有哪些新的发觉。

为何要从大数据的视角看来监控这一件事情呢？最先，以大伙儿最了解的网络服务器监控为例子，尽管基本原理非常简单，但从数据视角看来，其仍是一个典型性且详细的数据收集（监控数据收集）、剖析（警报）和数据可视化（数据图、车内仪表盘）处理方式。

次之，监控行业必须关注的数据不仅是网络服务器监控数据，还包括各种各样视角、各种各样来源于的数据，如日志数据、网络通信数据等，数据展现类型多、规模金刚级及时性规定高的特性，合乎典型性的大数据本质特征。

Gartner在二零一六年第一次明确提出AIOps定义时，AI意味着了Algorithmic（优化算法），优化算法的基础更是大量的数据，在17年将AI含意改成Artificial Intelligence（人工智能技术）后，一样必须大量的数据开展解决和学习培训。大家从下面的Gartner勾勒的AIOps平台构架中一样能见到数据针对AIOps、针对运维管理、针对监控的必要性。

大家从数据来源的视角对监控数据开展归类，较为常见的几类数据来源以下：

设备数据，常见指数值★★★★★，获取难度系数★☆☆☆☆

日志数据，常见指数值★★★★☆，获取难度系数★★★☆☆

网络通信数据，常见指数值★☆☆☆☆，获取难度系数★★★★★

拨测数据，常见指数值★★★★☆，获取难度系数★☆☆☆☆

Agent代理商数据，常见指数值★★☆☆☆，获取难度系数★★★★☆

客户个人行为数据，常见指数值★★★☆☆，获取难度系数★★☆☆☆

指数值仅作参考

那么多种多样数据来源，各有什么特点和主要用途呢？接下去大家详尽聊一下：

设备数据

设备数据就是指网络服务器、计算机设备等硬件配置或虚似硬件配置运作全过程中造成的情况数据，通常有相匹配的协议书或标准，比如SNMP、IPMI、WMI等。根据设备数据能够精确的掌握业务安装服务平台的基础运作情况，比如CPU、运行内存、硬盘等資源的应用状况和数据流量状况，是运维管理监控行业最常见的数据来源，各种开源系统或商业服务监控商品对该类数据的解决也如出一辙，比如Zabbix、Nagios等。

云计算时代，一样离不了设备数据，尽管客户无需再关注最底层物理学机器设备的运作情况，但云生产商出示的各种云主机、网关ip、三层交换机等虚似机器设备一样会造成很多设备数据，必须客户時刻关心，比如云主机的資源应用状况、网络带宽的应用状况、网关ip的负荷状况等。

搞好设备数据的监控能够说成搞好运维管理监控的第一步，但只是有设备数据是不足的，由于设备数据存有与业务流程运作情况错位的难题，设备运转稳定、資源充裕并不能够意味着业务流程运作一切正常，这就必须我们去丰富多彩自身的监控数据来源，诸位朋友请往下看。

日志数据

日志数据就是指应用软件、分布式数据库和设备等在运作全过程中由恶性事件开启而造成的文字类数据，数据文件格式形式多样。

日志数据的应用领域十分普遍，上到业务流程指标值剖析，放到Bug追踪定位，是监控行业的全能选手。但因为日志数据的协调能力，要想运用好日志数据，务必先想好监控哪些，再根据制订日志标准获取到必须的数据。日志数据的收集和剖析最常见的开源系统计划方案便是ELK Stack了，可以说早已产生了一定的国家标准。

网络通信数据

网络通信数据就是指根据抓包软件获取到的机器设备间网络通信数据，比如两部集群服务器存有网络通信，根据抓包软件剖析能够详尽的掌握两部集群服务器通讯的端口号、协议书、数据量乃至內容。常见的方法是根据硬件配置机器设备将数据流量开展镜像系统，对镜像系统数据开展剖析，以防止影响业务流程数据的一切正常运转。

网络通信数据十分全方位，要是有网络通信理论上就可以爬取到详尽的数据，而不用日志数据那般提早制订好数据輸出标准。想像一下你一直在管理方法一个交易软件，不用吐一切日志就可以获取到每一笔买卖的具体情况，并且这类数据获取方法还不容易危害到运用的运作，是否很过瘾。

可是网络通信数据的运用是较少的，难度系数也很大，我私以为主要是因为互联网有关的运维和业务流程有关的运维管理通常是不一样的Team在承担，不一样运维管理精英团队的侧重点和着重点不一样导致的。网络维护精英团队更为关注互联网自身的可靠性，对业务流程的了解并不是十分深层次，即便 根据抓包软件取得详尽数据，也难以开展详尽的剖析。而业务流程有关的运维和研发部门对互联网又欠缺彻底的操控，对互联网的了解也不足刻骨铭心。

除此之外，网络通信数据也是有其局限，一些业务流程恶性事件很有可能不容易造成网络通讯，也就沒有相匹配的数据，网络通信的数据包分析必须十分清晰网络层的标准，乃至许多 数据被开展了数据加密，这都扩大了网络通讯数据的运用难度系数。

现阶段我暂时没有见到完善的紧紧围绕网络通信数据收集和剖析的开源系统解决方法，聊以慰藉的仅有Wireshark那样的专用工具型商品了。商业服务解决方法层面倒是有很多非常好的生产商，很感兴趣的同学们能够百度一下Gartner NPMD掌握，NPMD就是指Network Performance Monitoring and Diagnostics。

拨测数据

拨测数据就是指应用检测点，根据HTTP、Ping、TCP等多种多样协议书对监控总体目标开展检测造成的数据，《网站监控 | 网址健康体检的外科医师》一文中提及网址监控数据就归属于拨测数据的一种。

拨测这个词最开始来源于电話网络通信，通讯工作人员在基本建设好电話互联网后必须拨一个电话来检测是不是一切正常，这类主动型监控方法就称之为拨测了。

针对IT业务管理系统，拨测选用的检测点能够在外网地址，还可以在业务管理系统内部网，不一样部位的检测点具有的功效是不一样的。外网地址检测点关键关心业务管理系统的互联网出入口品质、运营商网络品质和CDN品质，而内部网检测点关键关心的是业务流程或每个业务流程控制模块的易用性及特性情况。

内部网检测点的构建比较简单，两行脚本制作再加上一些开源系统部件迅速就能获取到拨测数据。但外网地址检测点必须在外网地址布署很多的网络服务器做为检测点，外网地址服务器部署会产生很多的运维管理成本费和商务成本费，诸位同学们能够考虑到应用商业服务解决方法，百度云盘监控BCM（Baidu Cloud Monitor）的网站监控作用就能非常好的考虑外网地址自然环境下的拨测要求。

Agent代理商数据

Agent代理商数据就是指根据字节码提高等技术性来获取运用运作全过程中的各种数据，与日志数据的较大 差别在两者之间不用在应用软件的源码中加上数据的輸出逻辑性，只是在应用软件的编译程序或运作阶段去动态性的特定数据輸出逻辑性，其方式上还可以輸出为日志，但与一般的日志数据在基本原理和灵便度上拥有 实质的差别。

Agent代理商数据最常见的情景便是运用特性管理方法APM（Application Performance Management）了，根据Agent代理商数据能够获取到运用运作全过程中的事务管理实行全过程，包含外界启用、数据库启用、分布式系统启用跟踪、代码执行用时等，而这一切都不用你来改动原来的应用软件。典型性的开源系统计划方案是对于Java应用软件监控的Pinpoint。

客户个人行为数据

客户个人行为数据就是指根据在客户终端设备开展埋点获取到的客户个人行为数据，比如在网页页面中根据JS埋点获取到的访问页面状况与在APP中根据SDK埋点获取到的各互动网页页面和控制的应用状况。

客户个人行为数据除开协助经营同学们开展用户分析，还能够协助运维管理的同学们更为精确的掌握业务管理系统的最后具体主要表现，比如哪儿的客户出現了浏览迟缓、什么业务流程控制模块用户数量出現了骤降，这种数据可以给你立在結果的视角去剖析业务管理系统也有哪里可以提升，也可以在难题只是危害一小部分客户时就可以及时处理，第一时间干涉。

总 结

讲过那么多种多样来源于的数据，大家来简略汇总一下：

融合各种各样来源于种类的数据，我们可以依据业务流程监控要求搭建出合适自身业务管理系统的监控计划方案来，你有没有发觉之前沒有关心过的数据来源呢？赶紧进一步深层次了解一下，看一下是否可以使处理你的困扰吧。

来源于：文中转自微信公众号“AIOps智能运维（AI_Ops)”，全文连接：从大数据的视角来谈一谈运维管理监控这一件事情。