从这里开始，就开始接触使用分布式系统处理大数据了。在处理大数据之前，需要有一个场景，否则技术工具无法嵌入现实当中，价值就会降低。我碰到的场景应该还是比较具有普遍性，因此大家可以在我的场景里先玩一遍，熟悉一下流程和方法，然后加以改造，加载到自己的场景和环境中。
场景：在一个大型公司内部，终端和各个业务系统之间的数据传输都通过网络进行。出于监控的要求，需要在网络上获取所有数据包，并查看数据包里是否含有某些关键字。如果含有某些关键字，证明终端和业务系统间正在进行某种操作。系统记录下这些操作，用于实时显示或统计使用。
这其实就是“行为数据”的采集和记录，是典型的大数据处理场景。
扩展一下，将该场景所使用的技术和工具加载到互联网或APP上，就可以在不改动任何业务系统、在用户无感知的情况下，采集用户的行为数据并加以利用，形成用户习惯数据。当然，也可以通过“埋点”的方式进行，但改动业务系统不要花钱嘛，能省一点是一点。
网络数据的获取。网络数据通过网络设备的“镜像口”获得。镜像口的设置可以让网管帮忙，一般可网管交换机都可以做到，思科、华三、迈普这些都没啥问题。通过镜像口获取网络数据，就可以在各个业务系统和用户无感知的情况下获取所有的数据了。当然，如果公司或者系统在传输时使用https等加密手段，这个就没办法了。不过一般公司很少在内网传输时加密。
结构如下（画功实在是感人）：
