Skip to content

Home

Jump to bottom
freeman zhang edited this page Sep 16, 2016 · 4 revisions

设计思路

Sniffer的功能包括网络数据包的抓取、过滤和分析展示三个部分。

抓取是指（尽可能多地）获得网络上传输的数据包，这是Sniffer工作的基础。正常情况下，网络接口卡硬件（以下简称网卡）会处理本机发送以及发往本机的数据包。如果将网卡配置为混杂模式，我们可以获得经过本机但非发往本机的数据包，从而获得网络上更多的信息。不管网卡是不是工作在混杂模式，这个处理过程对普通用户是透明的。而我们希望通过Sniffer将这一过程尽可能详细地报告给普通用户。

由于单位时间内捕获的网络数据包可能非常多，Sniffer常常会设置一个功能对数据包进行过滤，从而让用户容易观察到自己感兴趣的数据包。例如，用户可以设置协议过滤器，只观察TCP协议的数据包；又或是设置地址过滤器，只观察特定主机发送的数据包。

分析展示是在完成上述工作之后，将捕获到的数据包和一些统计信息展示给Sniffer用户。数据包本身是二进制数据，可读性差。将其转换为结构化、人性化、用户友好的表现形式是非常重要的一个环节。

数据包抓取的三种不同实现方式：

Kernel Hacking实现方式

network-structure.png

上图是Linux操作系统内核inet子系统的架构示意图。inet子系统是Linux对于TCP/IP协议栈的一种实现。在子系统中，接收数据包的走向是从下往上传递的。发送与之相反。在不同层次的模块中，我们可以获取对应层次的数据包中的数据。但实际上，因为下层模块中的数据包是上层数据包的超集，所以我们只要尽可能在较低的层次获取数据包如，就可以获得一个数据包所有的信息（以太网帧头、网络层帧头、传输层帧头、应用数据载荷）。同时需要注意的是，层次并不是越低越好，例如：如果实现在图中的Driver（驱动）层，那么我们就需要对不同硬件的不同驱动进行对应修改。

通过kernel hacking的方式获取数据包，可以保证抓包的通用性。因为操作系统对于网络有完整的访问权限，只要抓取的层次选择正确，就可以查看任意层次任意协议的数据包，甚至修改其中的数据。这些操作对用户层都是透明的。此外，kernel hacking方式抓包的思路十分简单。因为所有的数据包都暂存在一个缓冲区内，只要把这个缓冲区读取出来并进行类型转换，就可以方便抓取和分析数据包内容。

虽然kernel hacking方式思路直接，但内核编程本身是复杂的。相对于应用层编程，内核编程没有丰富的库程序的支持。内核编程抽象层次低，需要注意的细节较多，稍有不慎就可能造成内存访问错误或系统死锁。内核也缺乏高效的调试方法，使得问题的解决变得尤为复杂。同时内核编程有时也是危险的。不同于应用程序出错仅仅会导致自身程序奔溃，由于内核工作在计算机系统软件部分的底层，一旦编程过程引入错误，就会影响整个系统的稳定性，造成系统奔溃，甚至硬件损毁或数据丢失。

依赖libpcap库实现方式

 libpcap是一个unix和类unix系统下实现网络数据包抓取、过滤和分析的库程序。winpcap是针对微软的Windows操作系统的一个变种。libpcap实际上基于BPF(Berkeley Packet Filter，伯克利数据包过滤）。BPF是数据链路层的一个接口，应用软件通过该接口可以实现数据包的过滤和抓取，而不需要内核的支持。这类应用软件需要满足一定的规范——pcap。libpcap是pcap API的一种实现。有很多著名的抓包工具都使用了libpcap库或其变种，如wireshark和tcpdump工具。

 libpcap库的使用将会大大简化了抓包工具的编程。运用libpcap后，sniffer设计流程如下：

1）选定需要监听的网络接口 2）初始化libpcap 3）创建过滤规则 4）执行抓包循环 5）抓包结束后退出

libpcap是事件驱动的。在抓包循环中，每得到一个数据包，libpcap会调用一个实现设定的回调函数。我们可以在回到函数中对抓取的数据包做处理，例如对数据包按照不同协议类型做类型转换，完成后续的分析和展示过程。

使用raw socket的实现

libpcap是跨平台的库程序，经过一些小的修改和编译便可以在大部分主流的操作系统上使用。但考虑到一些嵌入式设备，如智能手机，可能需要独立、轻便的实现。这时我们就可以使用raw socket的方式从头实现嗅探程序。

raw_socket支持一种AF_PACKET的地址簇。这类地址簇可以让raw_socket有直接读取和发送以太网帧的功能。

在计算机软件行业，尤其是有优秀的开源环境支持下，重复制造车轮是不被鼓励的。但是本小组本着学习、探索的态度，决定不借助第三方抓包库，仅使用raw socket从头实现自己的嗅探软件——Shaniffer。Shaniffer项目地址为：

https://github.com/tianxianbaobao/shaniffer

实现细节

我们选择的实现在GNU/Linux平台之上。主要因为GNU/Linux上有丰富的优秀开源软件可以学习和使用。并且，受惠于该平台本身的开放性，我们的研究可以深入系统内部，并能够在必要时做出修改。

数据包抓取、分析功能的实现

shapture.png

整个shaniffer的工作流程如图中[A]所示。整个程序为一个循环，不断接收数据包，并针对数据包类型做出不同的输出处理。

shaniffer会在三个地方对数据包的类型进行判断，这三个地方分别对应网络层、传输层和应用层。图中B显示了网络层协议的甄别和传输层协议的甄别。在以太网头部中包含了一个域，通过不同的数字区别网络层协议类型。shaniffer目前支持ARP和IP两种网络层协议。观察TCP/IP的细腰结构，我们知道很多传输层协议都是建立在IP层之上的。IP头部也包含一个域来区分上层传输层的协议类型。shaniffer目前支持的传输层协议包括TCP、UDP、ICMP、IGMP和OSPF。

建立在TCP和UDP协议之上，存在很多的应用层协议。对于这些协议，我们没有办法从TCP头或UDP头部找到一个域进行区分。因此，shaniffer利用端口号约定和一些检查来猜测应用层的协议，如图中[C]所示。目前shaniffer支持的应用层协议包括：RIP、DHCP。不能被识别的应用层协议数据包，我们将它们作为普通的TCP、UDP数据包进行处理，即简单地使用十六进制格式输出的数据包内容。

对于具体的数据包，我们会输出每一层头部信息以及数据包载荷，并给出十六进制格式下的数据包内容(Dump)。图[D]展示了ARP包的处理流程。

shaniffer会对各类数据包进行统计。执行循环可以由用户发出的信号打断并退出程序。

数据包过滤功能的实现

数据包过滤功能由一段shell程序shailter提供。shailter提供了下层的raw过滤方式，可以筛选出包含查询字符串的数据包。shailter同时提供各类高级过滤，如过滤源／目的IP的数据包。这些高级过滤建立在raw方式之上，使用更加简便。但需要灵活查询时，也可以直接使用raw方式。

增加对某类型包的识别

Linux系统支持的协议数量非常庞大。在shaniffer中，我们没有一一实现对它们的识别。但是，shaniffer更像是一个框架，使得添加对某一类型包的识别变得非常简单。主要步骤包括：

  1. 如果增加的是对基于IP协议的数据包的识别 构造输出函数，在函数开头调用print_ip_header来输出IP头部信息（以及以太网头部） 修改ProcessIPPacket函数，增加统计和对输出函数的调用 如果增加的是对基于非IP协议数据包的识别 构造输出函数，在函数开头调用print_eth_header来输出以太网头部信息 修改ProcessPacket函数，增加统计和对输出函数的调用

  2. 在shailter中增加相应的过滤规则［可选］

下面以ARP类型包的识别为例，介绍如何增加对某类型包的识别： ARP包是一个非IP协议包，所以我们在ProcessPacket的函数中进行修改。表示以太网头的ethhdr数据结构包含h_proto域，用来指示数据包的协议类型。通过查询头文件定义，我们了解到0x0008为IP数据包，0x0608为arp包。所以我们增加h_proto=0x0608的case分支，用来输出ARP包的信息，同时增加全局变量arp统计ARP数据包的数量，并在接收到ARP包后进行自增。我们定义pring_arp_packet函数来完成输出ARP包信息的操作，具体内容可自行实现。

展示功能的实现

Qt介绍

Qt是Trolltech公司于1991年开发的一个一个跨平台的C++应用程序开发框架，广泛用于开发GUI。而且是自由开源的软件，在GNU(LGPL)条款下发布，支持广泛的编译器。使用Qt开发的软件，相同的代码可以在任何支持的平台上编译及运行，会自动依平台的不同，表现平台特有的图形界面风格。

Qt的图形界面基础是QWidget，Qt中所有组件如标签，GUI，工具，按钮都派生自QWidget，而QWidget本身是QObject的子类。QWidget负责接受鼠标，键盘，和来自窗口系统的其他事件，并描绘自身在屏幕上。每一个GUI组件都是一个widget，widget还可以作为容器，把其他的widget包含在内。Qt利用信号和槽(signals/slots)机制进行图形界面的异步通信，和传统的callback方式不同，当时间发生时，对象发送一个signal，然后该signal将被指定的slot捕获，而且传递的参数必须类型一致，这比callback调用形式更加安全，耦合性更低。

设计

既然功能复杂，效果酷炫，体积巨大的wireshark已经存在，那么我们的设计方针就是轻量级，界面清爽，体积小巧，用最少的GUI元素来实现一个抓包工具的核心内容:1 选择适配器，2 包过滤器，3 数据包的详略显示。那么只需要3组对应的GUI组件就能完成其核心功能。利用Qt designer快速设计一个界面如下：

Screenshotfrom2016-06-1419-57-46.png

其用到的GUI组件从左到右，从上到下依次是，LineEdit，Button，LineEdit，Button，TableWidget，TextBrowser。

实现

接下来把这个GUI的壳和原来的核心(Core)连接起来，为了同时运行包捕获任务，以及响应用户操作的任务，需要利用pthread来实现并发。用户一共允许有3个操作:1 点击 on(off) 按钮， 2 点击filter按钮，3 点击一个被捕获的包以获得详细信息。

1 点击on(off)按钮, 将程序运行状态取反，并根据运行状态改变按钮文本(on->off;off->on)，将按钮左边相邻的LineEdit的内容取出，以signal的形式发送给Core线程，Core线程的Slot捕获到该Signal之后，若当前Core线程没有开启，就开启一个包捕获thread监听指定的适配器，否则结束当前正在运行的包捕获线程

2 点击filter按钮，将该按钮的左边取出，左边的过滤规则按照等式形式编写，不同的条件用 '|' 隔开，比如src_ip=xx.xx.xx.xx | proto=udp，这将只显示源IP为xx.xx.xx.xx且协议类型为UDP的数据包。同样点击按钮会发出一个signal，被捕获后执行过滤函数。

3 点击在TableWidget中显示的一个被捕获的包，将获取它的编号，然后将该包的详细内容显示在最下方的TextBrowser。这同样会产生一个Signal，然后被相应的Slot捕获执行。

另外，Core thread将捕获的数据包同样以Singal的方式不断的发送到GUI treading中保存起来，数据包以"摘要-内容"的形式存放在内存中，默认只在TableWidget中显示摘要，被点击后在TextBrowser中显示具体内容，以上操作如下所示：

Screenshotfrom2016-06-1420-21-57.png

局限性

只能捕获以太网数据包。

使用

获取、编译和安装：

git clone https://github.com/freemandealer/shaniffer.git
make install     # 需提供root权限

抓包：

shapture

如果想抓去某一网络接口的包，可以制定接口设备： shapture wlan0 # 仅捕获无线接口wlan0上的包

停止抓包：

ctrl + c

对数据包进行分析及过滤：

抓取的包信息全部存放在/var/shanilog.txt文件中。这个文件是人类可读的。但考虑到数据包数量庞大，我们提供了过滤器来辅助定位数据包：

shailter srcip 192.168.1.1 # 过滤出源IP地址为 192.168.1.1 的包
shailter dstmac FF-FF-FF-FF-FF-FF # 过滤出目的MAC地址为FF-FF-FF-FF-FF-FF的数据包
FF-FF-FF-FF-FF-FF
shailter raw "secret" # 过滤出包含字符串“secret”的数据包

设计实现参考

WITHOUT libpcap http://www.binarytides.com/packet-sniffer-code-c-linux/ WITH/WITHOUT libpcap https://www.quora.com/How-do-we-implement-a-network-packet-sniffer [1]WITH http://www.tcpdump.org/pcap.htm sample code http://www.tcpdump.org/sniffex.c WITH http://yuba.stanford.edu/~casado/pcap/section1.html detailed) WITH http://opensourceforu.efytimes.com/2011/02/capturing-packets-c-program-libpcap/ (detailed) WITHOUT http://opensourceforu.efytimes.com/2015/03/a-guide-to-using-raw-sockets/ (raw socket) libpcap source https://github.com/the-tcpdump-group/libpcap why PF_PACKET can work? http://stackoverflow.com/questions/26212014/create-a-layer-2-ethernet-socket-with-boost-asio-raw-socket-in-c http://www.microhowto.info/howto/send_an_arbitrary_ethernet_frame_using_an_af_packet_socket_in_c.html and more ..

Qt 介绍 https://zh.wikipedia.org/wiki/Qt

Wireshark使用参考

BPF https://en.wikipedia.org/wiki/Berkeley_Packet_Filter http://blog.jobbole.com/70907/ wireshark文档 https://www.wireshark.org/docs/wsug_html/

Clone this wiki locally