用DPDK rte_ring实现多进程间通信

时间:2022-04-25
本文章向大家介绍用DPDK rte_ring实现多进程间通信,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

F-Stack是多进程架构,去除了进程间资源共享来达到更高的性能,但还是有部分控制信息需要在进程间同步,使用rte_ring让多个进程间的通信变得十分简单。 rte_ring在F-Stack中主要用于:

1.各个进程间ARP包的广播
2.KNI的转发
3.与工具(sysctl等)进行通信。

rte_ring是一个用CAS实现的无锁FIFO环形队列,支持多消费者/生产者同时出入队列,常用于多线程/多进程之间的通信。具体原理可以查看DPDK官方文档或者阅读源码,本文主要是介绍如何使用rte_ring来进行多进程间通信。

rte_ring需要与rte_mempool配合使用,通过rte_mempool来共享内存。

首先primary进程创建ring和mempool,secondary进程在primary进程启动后,通过rte_ring_lookuprte_mempool_lookup来获取ring和mempool的地址。

primary:

    // flags:标识是单消费者/生产者或者多消费者/生产者
    struct rte_ring *ring = rte_ring_create("message_ring", ring_size, rte_socket_id(), flags);
    struct rte_mempool *message_pool = rte_mempool_create("message_pool", pool_size,
            string_size, pool_cache, 0,
            NULL, NULL, NULL, NULL,
            rte_socket_id(), flags);

secondary:

    struct rte_ring *ring = rte_ring_lookup("message_ring");
    struct rte_mempool *message_pool = rte_mempool_lookup("message_pool");

使用时,rte_mempool_get从mempool中获取一个对象,然后使用rte_ring_enqueue入队列,另一个进程通过rte_ring_dequeue来出队列,使用完成后需要rte_mempool_put将对象放回mempool。

sender:

    void *msg = NULL;

    if (rte_mempool_get(message_pool, &msg) < 0)
        pannic();

    snprintf((char *)msg, string_size, "%s", "helloworld");
    if (rte_ring_enqueue(ring, msg) < 0) {
        rte_mempool_put(message_pool, msg);
    }

receiver:

    while (!quit){
        void *msg;

        if (rte_ring_dequeue(recv_ring, &msg) < 0){
            usleep(5);
            continue;
        }

        printf("Received: '%s'n", (char *)msg);

        rte_mempool_put(message_pool, msg);
    }

实际代码可以参考dpdk example/multi_process/simple_mp 或者F-Stack lib/ff_dpdk_if.c和tools/ipc,非常简单易用。