网络安全实战项目（一）--报文检测

2. 项目介绍

目标

了解项目的应用场景
掌握项目的关键实现技术
掌握项目的部署场景

2.1. 项目名称

上网行为管理系统
网络私有应用检测系统
网络隐匿流量侦控系统

我们本次实现其中最核心的dpi（Deep Packet Inspection深度报文检测）模块

2.2. 产品概述

2.2.1. 为什么要研制网络隐匿流量侦控系统

隐匿通道是一种允许违背合法的安全策略进行通信的通道。网络隐匿通道中的通信具有加密和匿名性，由于普通的网络安全产品自身的局限性，这使得网络隐匿通道中的信息传递活动很难被检测到；与周知或公开协议区别，私有通信协议指自定义非公开的通信协议。目前绝大数互联网应用采用私有协议。

目前，国内外敌对势力、异见人士、不法分子通过使用隐匿通道工具（如自由门、VPN、即时通信软件等）进行境内外勾连，在境内外网站发表和散布各种谣言、煽动性信息，使用范围逐渐扩大，有些工具甚至得到了反华国家与机构的资金赞助开发，面向全球免费提供下载，而业务部门目前缺少对这些隐匿通道工具的有效监控手段，急需新的技术侦察工具。

2.2.2. 产品简介

网络隐匿流量侦控系统的产品图片（参考图片）

系统应基于旁路部署，通过流量监测实现对VPN类、即时通信类、翻墙类、特种木马等隐匿通道的流量识别，并在识别的基础上实现对部分应用流量的破解和还原。

2.2.3. 产品定位

技侦：针对国内外敌对势力通过隐匿通道（如VPN、即时通信软件）进行境内外勾连而没有有限监控手段的现状，急需新的技术侦察工具。
网保: 需要具备针对特种木马窃密数据回传通道监测能力。
企业安全：针对数据防泄露（DLP）的需求，需要有可以识别私有加密应用和网络异常通信行为分析的监测产品，并能对加密流量进行还原和审计。

2.3. 产品架构

网络隐匿流量侦控系统主要由多核硬件平台、安全操作系统、监测引擎、存储管理、数据关联分析、协同分析、升级管理、维护管理、综合管理界面等功能模块组成，如下图所示：

硬件平台：通过硬件选型，选择高性能的网络应用处理平台，满足关口系统软件运行要求，具有良好的环境适应性和软件兼容性。
安全操作系统：在开源的Linux操作系统的基础上，通过内核裁剪、安全加固和强访问控制配置，满足系统的安全性和高效性要求。
监测引擎：完成网络报文的预处理、并提供插件管理机制加载业务支撑插件，业务支撑插件主要有原始流记录、报文记录、文件还原、域名提取、URL提取等，其主要功能是生成业务模块的数据源。对采集到的netflow原始流记录或录制的原始报文等组合应用多种网络通信行为分析技术，可发现未知攻击和未知木马。
存储管理：实现对多元异构数据的存储，数据包括报文特征事件、恶意代码感染事件、域名访问记录、原始流记录、异常流量事件、异常域名事件、异常行为事件等，至少存储半年的数据，并提供查询接口。
综合管理界面：主要包括配置管理、历史查询和实时显示、状态监控、设备管理、升级管理、维护管理等的前台配置与展示功能。
2.4. 管理模式

网络隐匿流量侦控系统支持单点部署或自上至下的多级集中管理，监测节点部署在重要部门关口，管理中心可以管理多个本地或异地的监测点。

2.5. 主要功能

2.5.1. DPI(深度包检测)

支持不少于15大类，1000种以上的网络应用的识别。
支持HTTP、SMTP、POP3、IMAP等几十种周知协议的解析与还原。
加密应用识别：
- VPN识别：支持PPTP、L2TP、OpenVPN、SSTP、IPSec、Cisco VPN的识别和上下线检测；
- 即时通信应用识别：支持微信、QQ、陌陌、WhatsAPP、Telegram、Skype等识别。
- 翻墙软件识别：支持Lantern、Turbo_vpn、穿云vpn、红叶vpn、vpn_speed、极速vpn、自由门、猎豹vpn、Shadowsocks等的识别和上下线检测。
- 通用加密应用识别：支持HTTS、FTPS、POP3S、SMTPS、IMAPS、Gmail等的识别。

2.5.2. 加密流量还原

支持自由门、极速VPN、PPTP（开发中）、Shadowsocks、极牙等隐匿通道的流量破解还原能力，支持Talkbox应用流量的破解还原。

2.5.3. 异常通信行为分析

对采集到的netflow原始流记录或录制的原始报文等组合应用多种网络通信行为分析技术，可发现未知协议和未知木马。
异常域名检测：通过分析域名请求、应答记录发现异常域名，留存域名访问记录元数据。
异常通信行为分析：发现网络异常通信行为，如内部主机和外部主机的间歇性连接、服务器主动外联、工作主机非工作时间主动外联等。

2.6. 关键技术

2.6.1. 私有应用流量深度监测技术

主要基于DPI 和文件还原与解析技术、逆向技术、关键字匹配、自然语言理解技术，重点关注四大技术：

本系统采用自主研发的DPI引擎来实现对网络报文的高速处理和网络应用的精确识别，采用自动化应用指纹识别技术来收集互联网应用（网站、数据库、应用系统、工业设备）的指纹信息，并构建应用指纹库。
采用协议的逆向技术来实现对网络应用的深度监测：
- 对于标准公开协议，可按照协议规范实现细粒度的协议分析，提取协议中特征字段和还原协议传输内容；
- 对于私有未公开和加密协议，通过搭建仿真环境，采用软件逆向和协议逆向方法识别其交互过程和加密算法，生成协议规范，并按照规范提取协议中的特征字段和解密还原传输内容；

2.6.2. 异常通信行为分析技术

网络异常通信行为分析是一种有效检测未知攻击的技术，重点关注攻击成功后续通信行为，包括外联行为分析、间歇会话连接分析、加密通道分析、异常域名分析、上下行流量分析等技术，

外联行为分析：对主要对可疑的外联行为进行分析，我们的产品内置了几十种的外联行为分析场景，如：
- 服务器主动主动发起对外的网络连接请求和域名请求行为;
- 邮件服务器发起的DNS请求不是mx记录；
- 内网工作主机在非工作时间连接外部服务器行为；
- 内网主机发起对非周知端口的域名请求；
- URL中包含特殊字符串；
- 重要主机通过非周知端口连接国外或台湾服务器行为；
- 内网通过周知端口对外发起私有协议通道。
- ……
间歇会话连接分析：木马的被控端一般会主动、周期性地连接控制端，以更新状态、获取新的指令，连接的周期和频率较为固定，间歇会话连接分析可以检测到主机的间歇性链接行为，从而发现木马被控端。
上下行流量比对比分析：主要是对比分析上下行的通信流量，正常的通信行为，下行流量较高或基本相当（如P2P流量），而窃密木马因为需要回传数据，在主动外联后，大多数时候上行的流量会比下行流量高。
加密通道分析：基于网络加密流量的识别技术，可以识别网络流量为加密还是非加密的，如果某个非周知端口突然出现了加密流量，或者某周知端口本应传输明文流量，突然出现了加密流量，可以认为存在异常。
异常域名检测：主要用于发现僵尸网络或木马等恶意代码被控制端对其控制端服务器的动态域名请求行为，是依据域名名字长度、域名名字中存在的特殊字符数、域名对应的IP地址为特殊地址的个数、域名对应的解析次数的突变度、域名解析次数的周期性、域名对应的IP池个数、域名对应IP池的跳变时间属于特定时段的次数、域名对应的IP池的变化次数等异常特征对域名记录进行检测，发现异常域名。

2.7. 典型部署

典型部署方式1如下图所示，网络隐匿流量侦控系统部署在通过交换机镜像（或者分光）的方式将核心交换机的流量接入网络隐匿流量侦控系统的捕包网卡。网络隐匿流量侦控系统通讯网卡需要接到内网汇聚交换机上，并可以通过防火墙设置访问外网的权限。

典型部署方式2，适合骨干网监测，将骨干网上的数据通过分光点引接到汇聚分流设备，由汇聚分流设备过滤后将流量分流到多个监测设备。

3. Bub追踪系统

目标
- 掌握在项目开发过程中，缺陷（Bug)的处理流程

3.1. Bug追踪系统简述

在软件开发生命周期（SDLC）跟踪错误是其中一个最重要的步骤没有这一步软件可以是不完整的。

这是一个很大的节省时间的添加和管理的错误是在Bug跟踪系统。很少的错误追踪系统不仅跟踪的错误，但也完全基于软件的项目管理与可用于许多其他任务。

3.2. Bubzilla

Bugzilla是基于Web的项目管理软件作为开源软件发布。

Bugzilla是用于管理软件的开发，并帮助您在软件开发过程中得到一个手柄。

Bugzilla是强大的指挥工具，让你的团队组织和有效的沟通。它是允许有效跟踪漏洞和代码更改。这是由Mozilla基金会开发的。此问题跟踪工具使用了许多像Mozilla中，脸谱，美国航空航天局，开放式办公，红帽等最受好评的组织

Bugzilla的成功的项目往往是成功的组织和沟通的结果。

Bugzilla的好处：使用Bugzilla的帮助，以提高产品质量，更好地与团队成员沟通，有助于提高客户满意度，Bugzilla的可以提高软件开发过程中的生产力。

特点

Bugzilla是在较短的时间内得到普及，因为它的特点。
提高可扩展性和性能，因为优化数据库结构。
高安全性
支持先进的查询工具和保存查询
注册成立的Bugzilla的电子邮件通知功能
Bugzilla的允许基于用户配置文件，用户也可以添加其他的电子邮件ID设置电子邮件偏好。
优秀的权限系统

参考链接

3.3. mantisbt

中文译作 “蟑螂Bug追踪”

螳螂Bug跟踪是一个开源的基于web的Bug跟踪系统。这是写在PHP和多个数据库，如MS SQL，MySQL和PostgreSQL的作品。

螳螂有多个项目，潜入多层次如下：

项目 - >子项目 - >分类 - >错误

基于用户访问权限，权限的用户可以对每个项目做出贡献。

螳螂是强大的工具，集成了几个应用，如实时跟踪，聊天，维基，RSS订阅多。

特点
- 开源工具（GPL许可）
- 支持运行PHP的任何平台（Windows，Linux和Mac上的Solaris，AS400/i5等）
- 可自定义的发行页数
- 用户可以有不同的访问级别，每个项目
- 支持的项目，子项目和类别。
- 支持全面的电子邮件通知
- 搜索和过滤器 - 简单/高级筛选，全文检索，共享的过滤器（跨用户/项目）
- 支持报告和图表报告
- 每个实例的多个项目
- 支持自定义字段
- 允许自定义问题的工作流程
- 允许看问题更改历史记录
- 我的视图页面
- 源代码控制集成
- 无限数量的用户，问题或项目。
- 设置匿名访问
- 支持时间跟踪管理
- 有本地化。
- 变更支持
- 简单的用户体验
- 容易评估
- 允许看路线图
- 易于安装（内部和在托管环境中)