1. Netmap简介
Netmap是一个高性能收发原始数据包的框架,由Luigi Rizzo等人开发完成,其包含了内核模块以及用户态库函数。其目标是,不修改现有操作系统软件以及不需要特殊硬件支持,实现用户态和网卡之间数据包的高性能传递。其原理图如下,数据包不经过操作系统内核进行处理,用户空间程序收发数据包时,直接与网卡进行通信。
2. 数据结构
在Netmap框架下,内核拥有数据包池,发送环接收环上的数据包不需要动态申请,有数据到达网卡时,当有数据到达后,直接从数据包池中取出一个数据包,然后将数据放入此数据包中,再将数据包的描述符放入接收环中。内核中的数据包池,通过mmap技术映射到用户空间。用户态程序最终通过netmap_if获取接收发送环netmap_ring,进行数据包的获取发送。
4. 特点总结
(1)性能高 :数据包不走传统协议栈,不需要层层解析,用户态直接与网卡的接受环和发送环交互。性能高的具体原因有一下三个:
- (a) 系统调用以及处理数据包的时间花费少
- (b) 不需要进行数据包的内存分配:采用数据包池,当有数据到达后,直接从数据包池中取出一个数据包,然后将数据放入此数据包中,再将数据包的描述符放入接收环中。
- (c) 数据拷贝次数少:内核中的数据包采用mmap技术映射到用户态。所以数据包在到达用户态时,不需要进行数据包的拷贝。
(2) 稳定性高 :有关网卡寄存器数据的维护都是在内核模块进行,用户不会直接操作寄存器。所以在用户态操作时,不会导致操作系统崩溃
(3) 亲和性 :可采用了CPU亲和性,实现CPU和网卡绑定,提高性能。
(4) 易用性好 :API操作简单,用户态只需要调用ioctl函数即可完成数据包收发工作
(5) 与硬件解耦 :不依赖硬件,只需要对网卡驱动程序稍微做点修改就可以使用此框架(几十行行),传统网卡驱动将数据包传递给操作系统内核中协议栈,而修改后的数据包直接放入Netmap_ring供用户使用。
4.性能对比
测试环境:10G网络下,不同发包程序对比,横坐标表示时钟频率,纵坐标表示发送数据包的速率
绿色线:Netmap在单核下的性能
红色线:Netmap在四核下的性能
蓝色线:pktgen发包程序
粉色线:netsend发包程序
5. 用户态操作实例
struct netmap_if *nifp;
struct nmreq req;
int i, len;
char *buf;
fd = open("/dev/netmap", 0);
strcpy(req.nr_name, "ix0"); // register the interface
ioctl(fd, NIOCREG, &req); // offset of the structure
mem = mmap(NULL, req.nr_memsize, PROT_READ|PROT_WRITE, 0, fd, 0);
nifp = NETMAP_IF(mem, req.nr_offset);
for (;;) {
struct pollfd x[1];
struct netmap_ring *ring = NETMAP_RX_RING(nifp, 0);
x[0].fd = fd;
x[0].events = POLLIN;
poll(x, 1, 1000);
for ( ; ring->avail > 0 ; ring->avail--) {
i = ring->cur;
buf = NETMAP_BUF(ring, i);
use_data(buf, ring->slot[i].len);
ring->cur = NETMAP_NEXT(ring, i);
}
}
6. 应用场景
(1)抓包程序
(2)高性能发包器
(3)虚拟交换机:虚拟交换机场景下,使用Netmap可以实现不同网卡间高效数据转发,将一个网卡的数据放到另外一个网卡上时,只需要将接收环中的packet的描述符放入发送环,不需要拷贝数据,实现数据包的零拷贝。
7. 反思
(1)采用Netmap后,由于数据包不经过协议栈,防火墙的功能如何实现?是否可以直接在网卡驱动上进行?
(2)数据包到达用户态后,由于是原始数据包,用户态是否有类似于TCP/IP协议栈的功能的应用进行协议栈解析?
(3)Netmap作者基于Netmap实现了一个VALE(VALE, a Switched Ethernet for Virtual Machines)虚拟交换机,其原理待进一步分析。
参考:
http://info.iet.unipi.it/~luigi/netmap/
http://queue.acm.org/detail.cfm?id=2103536