前端 Python之pypcap库的安装及简单抓包工具的实现

mavismiaomiao · December 16, 2019 · 114 hits

pypcap是一个对libpcapC 库进行封装和简化的面向对象的抓包工具库,可以非常方便的用于抓包和过滤,结合dpkt解析库可以完成许多网络数据包的抓取和分析。本文讲述的就是如何使用pypcapdpkt库实现简单抓包工具,也称为嗅探器 (sniffer).

Linux 端安装 pypcap

sudo apt-get install libpcap-dev
sudo pip install pypcap

这里有个问题,如果使用Anaconda目录的pip安装则可能失败,目前原因未明,但官方的python3对应的pip3python2对应的pip均无此问题.

Windows 端安装 pypcap

根据pypcap官方说明:

WinPcap has compatibility issues with Windows 10, therefore it’s recommended to use Npcap (Nmap’s packet sniffing library for Windows, based on the WinPcap/Libpcap libraries, but with improved speed, portability, security, and efficiency). Please enable WinPcap API-compatible mode during the library installation.

这里提到winpcapwin10间存在兼容性问题,具体什么问题我也没搞清楚,之前使用wireshark抓包一直用的winpcap也没问题。不过我估计和后面要用到的npcap sdk有关吧。既如此,就需要在安装pypcap前安装好Npcap,并下载好Npcap SDK

下载文件

  1. pypcap 源码
  2. Npcap
  3. Npcap SDK

安装

  • 安装 Npcap

安装下载后的 Npcap 安装包,如果电脑带有无线网卡,记得勾选 “support raw 802.11 traffic(and monitor mode) for wireless adapters”。需要注意的是,如果电脑已经安装过winpcap软件,在安装Npcap时会弹窗提示卸载Winpcap,此时需要关闭 wireshark 或是其它相关的软件

  • 安装 pypcap
  1. Npcap SDK文件夹和pypcap源码文件夹放在一个目录下
  2. Npcap SDK文件夹名称修改为wpdpack
  3. 进入pypcap源码目录,执行python setup.py install即可完成安装

在第三步需要注意的是,如果 Python 版本为 3.7.2(其它大于 3.7 的版本没试过)有可能编译失败,因为有个头文件pystate.h在高版本会有更新,导致结构体_ts PyThreadState中的某些参数不识别,从而提示错误pcap.c(22849): error C2039: 'exc_value': is not a member of '_ts'等。之后我将版本换至 3.6.6 后便正常编译了。

安装完成后,可以进入python执行import pcap查看是否已经可以正常导入。

简单使用

import pcap

list all of the Internet devices

devs = pcap.findalldevs() print(*devs, sep='n')

pc = pcap.pcap(devs[3], promisc=True, immediate=True, timeout_ms=50)

fiter http pcakets

pc.setfilter('tcp port 80') for ptime, pdata in pc: print(ptime, pdata)

接下来简单解释下几个主要函数

findalldevs

findalldevs可以列出当前操作系统的所有网络接口,但是windowsLinux的输出风格不大一样,下面来看看.

Linux 版输出简单明了,若我猜的不错,输出的首个接口便是电脑的有线接口 (本人台式机,Ubuntu 系统),至少在我这是适用的.

➜ python
Python 3.6.7 (default, Oct 22 2018, 11:32:17)
[GCC 8.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import pcap
>>> pcap.findalldevs()
['enp2s0', 'any', 'lo', 'nflog', 'nfqueue', 'usbmon1', 'usbmon2']
>>>

ubuntu及大部分 Linux 系统中,均可使用ip route或是ifconfig来获取接口名,据此甚至可以自动获取接口名.

Windows 版则比较复杂,下面是某台电脑win10操作系统输出的结果,这个直接看是看不出什么的, 因为使用cmd指令ipconfig /all输出的接口信息并不包含以下内容,而是接口名称及描述信息等,如果想知道下面接口如何与接口名对应起来,可以参考后面抓包工具使用注册表来获取接口信息,或是打开wireshark抓包,每个报文的帧头都会显示当前接口的接口信息.

>>> import pcap
>>> pcap.findalldevs()
['DeviceNPF_{839768E4-726A-48BB-9CEC-BD6FD670CB8F}', 'DeviceNPF_{C4D1AF17-C5C9-40C5-90F8-17781657FC9E}', 'DeviceNPF_{26024876-9711-428F-89D3-B91D2C488AC5}', 'DeviceNPF_{E26BFFEF-0644-4C13-8016-EB408AE1D471}', 'DeviceNPF_{9ED3674C-211E-4A57-923A-F8DBE6E6B704}', 'DeviceNPF_{A0B8B562-F309-44F3-95A1-BF34F5465925}', 'DeviceNPF_{9D76B006-6946-4C88-AED2-7F7A9194303C}']

pcap.pcap

pc = pcap.pcap(devs[3], promisc=True, immediate=True, timeout_ms=50)

以上代码定义了一个 pcap 对象,首个参数devs[3]对应接口名,promisc为真代表打开混杂模式,immediate代表立即模式,启用将不缓存数据包,timeout_ms代表接收数据包的超时时间

setfilter

setfilter用来设置数据包过滤器,比如只想抓http的包,那就通过setfilter(tcp port 80)实现,更加详细的过滤规则请自行谷歌.

抓包

for ptime, pdata in pc:
    print(ptime, pdata)

pcap.pcap对象 pc 是个动态数据,通常结合 for 循环或是 while 循环不断读取数据包,数据包会返回时间戳及报文数据.

上面这个小例子就是简单的说明pcap常用库函数的使用方法.具体的数据包的存储及解析需要由解析库dpkt来完成.下面是一个更加详细的抓包工具实例,可以完成数据包的抓取、解析及存储.

简易抓包工具

#!/usr/bin/env python3

-- encoding:utf-8 --

import pcap import dpkt

import getopt import sys import datetime import time import os import platform

if 'Windows' in platform.platform(): import winreg as wr

IF_REG = r'SYSTEMCurrentControlSetControlNetwork{4d36e972-e325-11ce-bfc1-08002be10318}' def getInterfaceByName(name): '''Get guid of interface from regedit of windows system

Args: name: interface name

Returns: An valid guid value or None.

Example: getInterfaceByName('eth0') ''' reg = wr.ConnectRegistry(None, wr.HKEY_LOCAL_MACHINE) reg_key = wr.OpenKey(reg, IF_REG) for i in range(wr.QueryInfoKey(reg_key)[0]): subkey_name = wr.EnumKey(reg_key, i) try: reg_subkey = wr.OpenKey(reg_key, subkey_name + r'Connection') Name = wr.QueryValueEx(reg_subkey, 'Name')[0] wr.CloseKey(reg_subkey) if Name == name: return r'DeviceNPF_' + subkey_name except FileNotFoundError as e: pass

return None

def mac_addr(mac): return '%02x:%02x:%02x:%02x:%02x:%02x'%tuple(mac)

def ip_addr(ip): return '%d.%d.%d.%d'%tuple(ip)

def captureData(iface): pkt = pcap.pcap(iface, promisc=True, immediate=True, timeout_ms=50) # filter method filters = { 'DNS': 'udp port 53', 'HTTP': 'tcp port 80' } # pkt.setfilter(filters['HTTP'])

pcap_filepath = 'pkts/pkts_{}.pcap'.format(time.strftime("%Y%m%d-%H%M%S", time.localtime())) pcap_file = open(pcap_filepath, 'wb') writer = dpkt.pcap.Writer(pcap_file) print('Start capture...') try: pkts_count = 0 for ptime, pdata in pkt: writer.writepkt(pdata, ptime) # anlysisData(pdata) printRawPkt(ptime, pdata) pkts_count += 1 except KeyboardInterrupt as e: writer.close() pcap_file.close() if not pkts_count: os.remove(pcap_filepath) print('%d packets received'%(pkts_count))

def printRawPkt(time, data): eth = dpkt.ethernet.Ethernet(data) print('Timestamp: ', str(datetime.datetime.utcfromtimestamp(time))) print('Ethernet Frame: ', mac_addr(eth.src), mac_addr(eth.dst)) if not isinstance(eth.data, dpkt.ip.IP): print('') return

ip = eth.data

# get fragments info do_not_fragment = bool(ip.off & dpkt.ip.IP_DF) more_fragments = bool(ip.off & dpkt.ip.IP_MF) fragment_offset = ip.off & dpkt.ip.IP_OFFMASK

print('IP: %s -> %s (len=%d ttl=%d DF=%d MF=%d offset=%d)n' % ( ip_addr(ip.src), ip_addr(ip.dst), ip.len, ip.ttl, do_not_fragment, more_fragments, fragment_offset))

def anlysisData(data): packet = dpkt.ethernet.Ethernet(data) if isinstance(packet.data, dpkt.ip.IP): ip = ip_addr(packet.data.dst) if packet.data.data.dport == 80 or packet.data.data.sport == 80: try: print(packet.data.data.data.decode('utf-8', errors='ignore')) except UnicodeDecodeError as uderr: print(uderr.str())

def main(): if 'Windows' in platform.platform(): iface = getInterfaceByName('Router') else: iface = 'enp2s0' captureData(iface)

if name == "main": main()

简要说明

  • 获取接口

getInterfaceByName根据接口名称,通过查找注册表信息获取pcap所需的接口设备信息,适用于 Windows 系统.至于 Linux 系统,直接通过ifconfig获取即可,至于自动获取功能,目前还没写,以后再说吧.

  • 数据包存储

为了将数据包存储到.pcap文件 (此类文件可以使用 wireshark 打开) 中,可以通过dpkt.pcap.Writer对象使用writepkt函数不断写入文件.

pcap_file = open(pcap_filepath, 'wb')
writer = dpkt.pcap.Writer(pcap_file)
for ptime, pdata in pkt:
    writer.writepkt(pdata, ptime)
  • 打印数据包基本信息

printRawPkt是个非常简单的打印数据包基本信息的函数,最多仅打印至ip信息,打印格式如下:

Timestamp:  2018-12-31 13:58:39.850904
Ethernet Frame:  00:e0:4c:5a:0a:78 00:0f:e9:61:30:00
IP: 192.168.1.76 -> 59.111.160.197 (len=52 ttl=64 DF=1 MF=0 offset=0)

信息包含时间戳,以太网帧的MAC地址,IP地址及分片信息等.

  • 解析 http 数据包

anlysisData函数目前只是简单的检测及打印解码后的http包,使用dpkt.ethernet.Ethernet可以将原始数据包封装成一个结构化的以太网帧,之后按照网络协议栈的顺序便可逐层解析出链路层、网络层、传输层直至应用层.以上代码先是判断是否为IP报文,之后根据端口号判断是否为 http 报文,然后将数据解码后输出.

这个例子也很简单,很多异常情况也没考虑,本文主要目的是描述pypcapdpkt的常用方法以及抓包工具的实现过程,至于针对具体协议的解析则需继续学习.

抓包测试

➜ mkdir pkts
➜ sudo ./pktcap.py
Start capture...
Timestamp:  2018-12-31 13:58:37.148964
Ethernet Frame:  00:36:76:6c:28:fe 33:33:00:00:00:16

Timestamp: 2018-12-31 13:58:37.148978 Ethernet Frame: 00:36:76:6c:28:fe 33:33:00:00:00:16

Timestamp: 2018-12-31 13:58:37.529024 Ethernet Frame: 00:36:76:6c:28:fe 33:33:00:00:00:16

Timestamp: 2018-12-31 13:58:37.809011 Ethernet Frame: 98:e0:d9:a4:50:1d 33:33:00:00:00:16

Timestamp: 2018-12-31 13:58:39.850904 Ethernet Frame: 00:e0:4c:5a:0a:78 00:0f:e9:61:30:00 IP: 192.168.1.76 -> 59.111.160.197 (len=52 ttl=64 DF=1 MF=0 offset=0)

Timestamp: 2018-12-31 13:58:39.862890 Ethernet Frame: 00:0f:e9:61:30:00 00:e0:4c:5a:0a:78 IP: 59.111.160.197 -> 192.168.1.76 (len=40 ttl=55 DF=1 MF=0 offset=0)

Timestamp: 2018-12-31 13:58:40.289465 Ethernet Frame: b0:19:c6:17:0a:57 33:33:00:00:00:16

Timestamp: 2018-12-31 13:58:40.369068 Ethernet Frame: a4:d1:8c:0b:54:12 33:33:00:00:00:16

Timestamp: 2018-12-31 13:58:41.859034 Ethernet Frame: a0:4e:a7:e0:65:3d 33:33:00:00:00:16

Timestamp: 2018-12-31 13:58:42.079218 Ethernet Frame: 8c:6d:50:7d:f9:fc ff:ff:ff:ff:ff:ff IP: 0.0.0.0 -> 255.255.255.255 (len=352 ttl=64 DF=0 MF=0 offset=0)

^C10 packets received ➜ cd pkts ➜ ls pkts_20181230-185017.pcap pkts_20181231-203416.pcap pkts_20181231-215837.pcap

代码已上传至github Python-demos sniffer.py

参考

  1. windows 环境下 python 安装 pypcap…
  2. Python 黑客编程 3 网络数据监听和过滤
  3. Mac 下用 python+pypcap+dpkt 抓取 IP 数据包并分析
No Reply at the moment.
You need to Sign in before reply, if you don't have an account, please Sign up first.