Netmap 高性能网络I/O框架

xingyun86 2018-4-21 2355

1. Netmap简介

Netmap是一个高性能收发原始数据包的框架,由Luigi Rizzo等人开发完成,其包含了内核模块以及用户态库函数。其目标是,不修改现有操作系统软件以及不需要特殊硬件支持,实现用户态和网卡之间数据包的高性能传递。其原理图如下,数据包不经过操作系统内核进行处理,用户空间程序收发数据包时,直接与网卡进行通信。

netmap_01

2. 数据结构

rizzo1在Netmap框架下,内核拥有数据包池,发送环接收环上的数据包不需要动态申请,有数据到达网卡时,当有数据到达后,直接从数据包池中取出一个数据包,然后将数据放入此数据包中,再将数据包的描述符放入接收环中。内核中的数据包池,通过mmap技术映射到用户空间。用户态程序最终通过netmap_if获取接收发送环netmap_ring,进行数据包的获取发送。

4. 特点总结

(1)性能高 :数据包不走传统协议栈,不需要层层解析,用户态直接与网卡的接受环和发送环交互。性能高的具体原因有一下三个:

  • (a) 系统调用以及处理数据包的时间花费少
  • (b) 不需要进行数据包的内存分配:采用数据包池,当有数据到达后,直接从数据包池中取出一个数据包,然后将数据放入此数据包中,再将数据包的描述符放入接收环中。
  • (c) 数据拷贝次数少:内核中的数据包采用mmap技术映射到用户态。所以数据包在到达用户态时,不需要进行数据包的拷贝。

(2) 稳定性高 :有关网卡寄存器数据的维护都是在内核模块进行,用户不会直接操作寄存器。所以在用户态操作时,不会导致操作系统崩溃

(3) 亲和性 :可采用了CPU亲和性,实现CPU和网卡绑定,提高性能。

(4) 易用性好 :API操作简单,用户态只需要调用ioctl函数即可完成数据包收发工作

(5) 与硬件解耦 :不依赖硬件,只需要对网卡驱动程序稍微做点修改就可以使用此框架(几十行行),传统网卡驱动将数据包传递给操作系统内核中协议栈,而修改后的数据包直接放入Netmap_ring供用户使用。

4.性能对比

测试环境:10G网络下,不同发包程序对比,横坐标表示时钟频率,纵坐标表示发送数据包的速率

绿色线:Netmap在单核下的性能

红色线:Netmap在四核下的性能

蓝色线:pktgen发包程序

粉色线:netsend发包程序

plot-tx-clock-201109

5. 用户态操作实例

 

struct netmap_if *nifp;
struct nmreq req;
int i, len;
char *buf;

fd = open("/dev/netmap", 0);
strcpy(req.nr_name, "ix0"); // register the interface
ioctl(fd, NIOCREG, &req); // offset of the structure
mem = mmap(NULL, req.nr_memsize, PROT_READ|PROT_WRITE, 0, fd, 0);
nifp = NETMAP_IF(mem, req.nr_offset);
for (;;) {
    struct pollfd x[1];
    struct netmap_ring *ring = NETMAP_RX_RING(nifp, 0);

    x[0].fd = fd;
    x[0].events = POLLIN;
    poll(x, 1, 1000);
    for ( ; ring->avail > 0 ; ring->avail--) {
        i = ring->cur;
        buf = NETMAP_BUF(ring, i);
        use_data(buf, ring->slot[i].len);
        ring->cur = NETMAP_NEXT(ring, i);
    }
}

 

6. 应用场景

(1)抓包程序

(2)高性能发包器

(3)虚拟交换机:虚拟交换机场景下,使用Netmap可以实现不同网卡间高效数据转发,将一个网卡的数据放到另外一个网卡上时,只需要将接收环中的packet的描述符放入发送环,不需要拷贝数据,实现数据包的零拷贝。

7. 反思

(1)采用Netmap后,由于数据包不经过协议栈,防火墙的功能如何实现?是否可以直接在网卡驱动上进行?

(2)数据包到达用户态后,由于是原始数据包,用户态是否有类似于TCP/IP协议栈的功能的应用进行协议栈解析?

(3)Netmap作者基于Netmap实现了一个VALE(VALE, a Switched Ethernet for Virtual Machines)虚拟交换机,其原理待进一步分析。
参考:

http://info.iet.unipi.it/~luigi/netmap/

http://queue.acm.org/detail.cfm?id=2103536


×
打赏作者
最新回复 (0)
查看全部
全部楼主
返回