設(shè)想一個(gè)場(chǎng)景：有100萬(wàn)用戶(hù)同時(shí)與一個(gè)進(jìn)程保持著TCP連接，而每一時(shí)刻只有幾十個(gè)或幾百個(gè)TCP連接是活躍的(接收TCP包)，也就是說(shuō)在每一時(shí)刻進(jìn)程只需要處理這100萬(wàn)連接中的一小部分連接。

那么，如何才能高效的處理這種場(chǎng)景呢？進(jìn)程是否在每次詢(xún)問(wèn)操作系統(tǒng)收集有事件發(fā)生的TCP連接時(shí)，把這100萬(wàn)個(gè)連接告訴操作系統(tǒng)，然后由操作系統(tǒng)找出其中有事件發(fā)生的幾百個(gè)連接呢？實(shí)際上，在 Linux2.4 版本以前，那時(shí)的select 或者 poll 事件驅(qū)動(dòng)方式是這樣做的。

這里有個(gè)非常明顯的問(wèn)題，即在某一時(shí)刻，進(jìn)程收集有事件的連接時(shí)，其實(shí)這100萬(wàn)連接中的大部分都是沒(méi)有事件發(fā)生的。

因此如果每次收集事件時(shí)，都把100萬(wàn)連接的套接字傳給操作系統(tǒng)（這首先是用戶(hù)態(tài)內(nèi)存到內(nèi)核態(tài)內(nèi)存的大量復(fù)制），而由操作系統(tǒng)內(nèi)核尋找這些連接上有沒(méi)有未處理的事件，將會(huì)是巨大的資源浪費(fèi)，然后select和poll就是這樣做的，因此它們最多只能處理幾千個(gè)并發(fā)連接。

而epoll不這樣做，它在Linux內(nèi)核中申請(qǐng)了一個(gè)簡(jiǎn)易的文件系統(tǒng)，把原先的一個(gè)select或poll調(diào)用分成了3部分：

int epoll_create(int size);  
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);  
int epoll_wait(int epfd, struct epoll_event *events,int maxevents, int timeout);

1. 調(diào)用 epoll_create 建立一個(gè) epoll 對(duì)象（在epoll文件系統(tǒng)中給這個(gè)句柄分配資源）；

2. 調(diào)用 epoll_ctl 向 epoll 對(duì)象中添加這100萬(wàn)個(gè)連接的套接字；

3. 調(diào)用 epoll_wait 收集發(fā)生事件的連接。

這樣只需要在進(jìn)程啟動(dòng)時(shí)建立 1 個(gè) epoll 對(duì)象，并在需要的時(shí)候向它添加或刪除連接就可以了，因此，在實(shí)際收集事件時(shí)，epoll_wait 的效率就會(huì)非常高，因?yàn)檎{(diào)用 epoll_wait 時(shí)并沒(méi)有向它傳遞這100萬(wàn)個(gè)連接，內(nèi)核也不需要去遍歷全部的連接。

一、epoll原理詳解

當(dāng)某一進(jìn)程調(diào)用 epoll_create 方法時(shí)，Linux 內(nèi)核會(huì)創(chuàng)建一個(gè) eventpoll 結(jié)構(gòu)體，這個(gè)結(jié)構(gòu)體中有兩個(gè)成員與epoll的使用方式密切相關(guān)，如下所示：

struct eventpoll {
  ...
  /*紅黑樹(shù)的根節(jié)點(diǎn)，這棵樹(shù)中存儲(chǔ)著所有添加到epoll中的事件，
  也就是這個(gè)epoll監(jiān)控的事件*/
  struct rb_root rbr;
  /*雙向鏈表rdllist保存著將要通過(guò)epoll_wait返回給用戶(hù)的、滿(mǎn)足條件的事件*/
  struct list_head rdllist;
  ...
};

我們?cè)谡{(diào)用 epoll_create 時(shí)，內(nèi)核除了幫我們?cè)?epoll 文件系統(tǒng)里建了個(gè) file 結(jié)點(diǎn)，在內(nèi)核 cache 里建了個(gè)紅黑樹(shù)用于存儲(chǔ)以后 epoll_ctl 傳來(lái)的 socket 外，還會(huì)再建立一個(gè) rdllist 雙向鏈表，用于存儲(chǔ)準(zhǔn)備就緒的事件，當(dāng) epoll_wait 調(diào)用時(shí)，僅僅觀察這個(gè) rdllist 雙向鏈表里有沒(méi)有數(shù)據(jù)即可。

有數(shù)據(jù)就返回，沒(méi)有數(shù)據(jù)就 sleep，等到 timeout 時(shí)間到后即使鏈表沒(méi)數(shù)據(jù)也返回。所以，epoll_wait 非常高效。

所有添加到epoll中的事件都會(huì)與設(shè)備(如網(wǎng)卡)驅(qū)動(dòng)程序建立回調(diào)關(guān)系，也就是說(shuō)相應(yīng)事件的發(fā)生時(shí)會(huì)調(diào)用這里的回調(diào)方法。這個(gè)回調(diào)方法在內(nèi)核中叫做ep_poll_callback，它會(huì)把這樣的事件放到上面的rdllist雙向鏈表中。

在epoll中對(duì)于每一個(gè)事件都會(huì)建立一個(gè)epitem結(jié)構(gòu)體，如下所示：

struct epitem {
  ...
  //紅黑樹(shù)節(jié)點(diǎn)
  struct rb_node rbn;
  //雙向鏈表節(jié)點(diǎn)
  struct list_head rdllink;
  //事件句柄等信息
  struct epoll_filefd ffd;
  //指向其所屬的eventepoll對(duì)象
  struct eventpoll *ep;
  //期待的事件類(lèi)型
  struct epoll_event event;
  ...
}; // 這里包含每一個(gè)事件對(duì)應(yīng)著的信息。

當(dāng)調(diào)用 epoll_wait 檢查是否有發(fā)生事件的連接時(shí)，只是檢查eventpoll對(duì)象中的rdllist雙向鏈表是否有epitem元素而已，如果rdllist鏈表不為空，則這里的事件復(fù)制到用戶(hù)態(tài)內(nèi)存（使用共享內(nèi)存提高效率）中，同時(shí)將事件數(shù)量返回給用戶(hù)。

因此epoll_waitx效率非常高。epoll_ctl在向epoll對(duì)象中添加、修改、刪除事件時(shí)，從rbr紅黑樹(shù)中查找事件也非常快，也就是說(shuō)epoll是非常高效的，它可以輕易地處理百萬(wàn)級(jí)別的并發(fā)連接。

【總結(jié)】：

一顆紅黑樹(shù)，一張準(zhǔn)備就緒句柄鏈表，少量的內(nèi)核cache，就幫我們解決了大并發(fā)下的socket處理問(wèn)題。

• 執(zhí)行 epoll_create() 時(shí)，創(chuàng)建了紅黑樹(shù)和就緒鏈表；

• 執(zhí)行 epoll_ctl() 時(shí)，如果增加 socket 句柄，則檢查在紅黑樹(shù)中是否存在，存在立即返回，不存在則添加到樹(shù)干上，然后向內(nèi)核注冊(cè)回調(diào)函數(shù)，用于當(dāng)中斷事件來(lái)臨時(shí)向準(zhǔn)備就緒鏈表中插入數(shù)據(jù)；

• 執(zhí)行 epoll_wait() 時(shí)立刻返回準(zhǔn)備就緒鏈表里的數(shù)據(jù)即可。

二、epoll 的兩種觸發(fā)模式

epoll有EPOLLLT和EPOLLET兩種觸發(fā)模式，LT是默認(rèn)的模式，ET是“高速”模式。

• LT（水平觸發(fā)）模式下，只要這個(gè)文件描述符還有數(shù)據(jù)可讀，每次 epoll_wait都會(huì)返回它的事件，提醒用戶(hù)程序去操作；

• ET（邊緣觸發(fā)）模式下，在它檢測(cè)到有 I/O 事件時(shí)，通過(guò) epoll_wait 調(diào)用會(huì)得到有事件通知的文件描述符，對(duì)于每一個(gè)被通知的文件描述符，如可讀，則必須將該文件描述符一直讀到空，讓 errno 返回 EAGAIN 為止，否則下次的 epoll_wait 不會(huì)返回余下的數(shù)據(jù)，會(huì)丟掉事件。如果ET模式不是非阻塞的，那這個(gè)一直讀或一直寫(xiě)勢(shì)必會(huì)在最后一次阻塞。

還有一個(gè)特點(diǎn)是，epoll使用“事件”的就緒通知方式，通過(guò)epoll_ctl注冊(cè)fd，一旦該fd就緒，內(nèi)核就會(huì)采用類(lèi)似callback的回調(diào)機(jī)制來(lái)激活該fd，epoll_wait便可以收到通知。

【epoll為什么要有EPOLLET觸發(fā)模式？】：

如果采用 EPOLLLT 模式的話(huà)，系統(tǒng)中一旦有大量你不需要讀寫(xiě)的就緒文件描述符，它們每次調(diào)用epoll_wait都會(huì)返回，這樣會(huì)大大降低處理程序檢索自己關(guān)心的就緒文件描述符的效率。

而采用EPOLLET這種邊緣觸發(fā)模式的話(huà)，當(dāng)被監(jiān)控的文件描述符上有可讀寫(xiě)事件發(fā)生時(shí)，epoll_wait()會(huì)通知處理程序去讀寫(xiě)。

如果這次沒(méi)有把數(shù)據(jù)全部讀寫(xiě)完(如讀寫(xiě)緩沖區(qū)太小)，那么下次調(diào)用epoll_wait()時(shí)，它不會(huì)通知你，也就是它只會(huì)通知你一次，直到該文件描述符上出現(xiàn)第二次可讀寫(xiě)事件才會(huì)通知你?。?！這種模式比水平觸發(fā)效率高，系統(tǒng)不會(huì)充斥大量你不關(guān)心的就緒文件描述符。

【總結(jié)】：

• ET模式（邊緣觸發(fā)）只有數(shù)據(jù)到來(lái)才觸發(fā)，不管緩存區(qū)中是否還有數(shù)據(jù)，緩沖區(qū)剩余未讀盡的數(shù)據(jù)不會(huì)導(dǎo)致epoll_wait返回；

• LT 模式（水平觸發(fā)，默認(rèn)）只要有數(shù)據(jù)都會(huì)觸發(fā)，緩沖區(qū)剩余未讀盡的數(shù)據(jù)會(huì)導(dǎo)致epoll_wait返回。

三、epoll反應(yīng)堆模型

【epoll模型原來(lái)的流程】：

epoll_create(); // 創(chuàng)建監(jiān)聽(tīng)紅黑樹(shù)
epoll_ctl(); // 向書(shū)上添加監(jiān)聽(tīng)fd
epoll_wait(); // 監(jiān)聽(tīng)
有監(jiān)聽(tīng)fd事件發(fā)送--->返回監(jiān)聽(tīng)滿(mǎn)足數(shù)組--->判斷返回?cái)?shù)組元素--->
lfd滿(mǎn)足accept--->返回cfd---->read()讀數(shù)據(jù)--->write()給客戶(hù)端回應(yīng)。

【epoll反應(yīng)堆模型的流程】：

epoll_create(); // 創(chuàng)建監(jiān)聽(tīng)紅黑樹(shù)
epoll_ctl(); // 向書(shū)上添加監(jiān)聽(tīng)fd
epoll_wait(); // 監(jiān)聽(tīng)
有客戶(hù)端連接上來(lái)--->lfd調(diào)用acceptconn()--->將cfd掛載到紅黑樹(shù)上監(jiān)聽(tīng)其讀事件--->
epoll_wait()返回cfd--->cfd回調(diào)recvdata()--->將cfd摘下來(lái)監(jiān)聽(tīng)寫(xiě)事件--->
epoll_wait()返回cfd--->cfd回調(diào)senddata()--->將cfd摘下來(lái)監(jiān)聽(tīng)讀事件--->...--->

【Demo】：

#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 

#define MAX_EVENTS 1024 /*監(jiān)聽(tīng)上限*/
#define BUFLEN  4096    /*緩存區(qū)大小*/
#define SERV_PORT 6666  /*端口號(hào)*/

void recvdata(int fd,int events,void *arg);
void senddata(int fd,int events,void *arg);

/*描述就緒文件描述符的相關(guān)信息*/
struct myevent_s
{
    int fd;             //要監(jiān)聽(tīng)的文件描述符
    int events;         //對(duì)應(yīng)的監(jiān)聽(tīng)事件，EPOLLIN和EPLLOUT
    void *arg;          //指向自己結(jié)構(gòu)體指針
    void (*call_back)(int fd,int events,void *arg); //回調(diào)函數(shù)
    int status;         //是否在監(jiān)聽(tīng):1->在紅黑樹(shù)上(監(jiān)聽(tīng)), 0->不在(不監(jiān)聽(tīng))
    char buf[BUFLEN];   
    int len;
    long last_active;   //記錄每次加入紅黑樹(shù) g_efd 的時(shí)間值
};

int g_efd;      //全局變量，作為紅黑樹(shù)根
struct myevent_s g_events[MAX_EVENTS+1];    //自定義結(jié)構(gòu)體類(lèi)型數(shù)組. +1-->listen fd

/*
 * 封裝一個(gè)自定義事件，包括fd，這個(gè)fd的回調(diào)函數(shù)，還有一個(gè)額外的參數(shù)項(xiàng)
 * 注意：在封裝這個(gè)事件的時(shí)候，為這個(gè)事件指明了回調(diào)函數(shù)，一般來(lái)說(shuō)，一個(gè)fd只對(duì)一個(gè)特定的事件
 * 感興趣，當(dāng)這個(gè)事件發(fā)生的時(shí)候，就調(diào)用這個(gè)回調(diào)函數(shù)
 */
void eventset(struct myevent_s *ev, int fd, void (*call_back)(int fd,int events,void *arg), void *arg)
{
    ev->fd = fd;
    ev->call_back = call_back;
    ev->events = 0;
    ev->arg = arg;
    ev->status = 0;
    if(ev->len <= 0)
    {
        memset(ev->buf, 0, sizeof(ev->buf));
        ev->len = 0;
    }
    ev->last_active = time(NULL); //調(diào)用eventset函數(shù)的時(shí)間
    return;
}

/* 向 epoll監(jiān)聽(tīng)的紅黑樹(shù) 添加一個(gè)文件描述符 */
void eventadd(int efd, int events, struct myevent_s *ev)
{
    struct epoll_event epv={0, {0}};
    int op = 0;
    epv.data.ptr = ev; // ptr指向一個(gè)結(jié)構(gòu)體（之前的epoll模型紅黑樹(shù)上掛載的是文件描述符cfd和lfd，現(xiàn)在是ptr指針）
    epv.events = ev->events = events; //EPOLLIN 或 EPOLLOUT
    if(ev->status == 0)       //status 說(shuō)明文件描述符是否在紅黑樹(shù)上 0不在，1 在
    {
        op = EPOLL_CTL_ADD; //將其加入紅黑樹(shù) g_efd, 并將status置1
        ev->status = 1;
    }
    if(epoll_ctl(efd, op, ev->fd, &epv) < 0) // 添加一個(gè)節(jié)點(diǎn)
        printf("event add failed [fd=%d],events[%d]
", ev->fd, events);
    else
        printf("event add OK [fd=%d],events[%0X]
", ev->fd, events);
    return;
}

/* 從epoll 監(jiān)聽(tīng)的 紅黑樹(shù)中刪除一個(gè)文件描述符*/
void eventdel(int efd,struct myevent_s *ev)
{
    struct epoll_event epv = {0, {0}};
    if(ev->status != 1) //如果fd沒(méi)有添加到監(jiān)聽(tīng)樹(shù)上，就不用刪除，直接返回
        return;
    epv.data.ptr = NULL;
    ev->status = 0;
    epoll_ctl(efd, EPOLL_CTL_DEL, ev->fd, &epv);
    return;
}

/*  當(dāng)有文件描述符就緒, epoll返回, 調(diào)用該函數(shù)與客戶(hù)端建立鏈接 */
void acceptconn(int lfd,int events,void *arg)
{
    struct sockaddr_in cin;
    socklen_t len = sizeof(cin);
    int cfd, i;
    if((cfd = accept(lfd, (struct sockaddr *)&cin, &len)) == -1)
    {
        if(errno != EAGAIN && errno != EINTR)
        {
            sleep(1);
        }
        printf("%s:accept,%s
",__func__, strerror(errno));
        return;
    }
    do
    {
        for(i = 0; i < MAX_EVENTS; i++) //從全局?jǐn)?shù)組g_events中找一個(gè)空閑元素，類(lèi)似于select中找值為-1的元素
        {
            if(g_events[i].status ==0)
                break;
        }
        if(i == MAX_EVENTS) // 超出連接數(shù)上限
        {
            printf("%s: max connect limit[%d]
", __func__, MAX_EVENTS);
            break;
        }
        int flag = 0;
        if((flag = fcntl(cfd, F_SETFL, O_NONBLOCK)) < 0) //將cfd也設(shè)置為非阻塞
        {
            printf("%s: fcntl nonblocking failed, %s
", __func__, strerror(errno));
            break;
        }
        eventset(&g_events[i], cfd, recvdata, &g_events[i]); //找到合適的節(jié)點(diǎn)之后，將其添加到監(jiān)聽(tīng)樹(shù)中，并監(jiān)聽(tīng)讀事件
        eventadd(g_efd, EPOLLIN, &g_events[i]);
    }while(0);

    printf("new connect[%s:%d],[time:%ld],pos[%d]",inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), g_events[i].last_active, i);
    return;
}

/*讀取客戶(hù)端發(fā)過(guò)來(lái)的數(shù)據(jù)的函數(shù)*/
void recvdata(int fd, int events, void *arg)
{
    struct myevent_s *ev = (struct myevent_s *)arg;
    int len;

    len = recv(fd, ev->buf, sizeof(ev->buf), 0);    //讀取客戶(hù)端發(fā)過(guò)來(lái)的數(shù)據(jù)

    eventdel(g_efd, ev);                            //將該節(jié)點(diǎn)從紅黑樹(shù)上摘除

    if (len > 0) 
    {
        ev->len = len;
        ev->buf[len] = '?';                        //手動(dòng)添加字符串結(jié)束標(biāo)記
        printf("C[%d]:%s
", fd, ev->buf);                  

        eventset(ev, fd, senddata, ev);             //設(shè)置該fd對(duì)應(yīng)的回調(diào)函數(shù)為senddata    
        eventadd(g_efd, EPOLLOUT, ev);              //將fd加入紅黑樹(shù)g_efd中,監(jiān)聽(tīng)其寫(xiě)事件    

    } 
    else if (len == 0) 
    {
        close(ev->fd);
        /* ev-g_events 地址相減得到偏移元素位置 */
        printf("[fd=%d] pos[%ld], closed
", fd, ev-g_events);
    } 
    else 
    {
        close(ev->fd);
        printf("recv[fd=%d] error[%d]:%s
", fd, errno, strerror(errno));
    }   
    return;
}

/*發(fā)送給客戶(hù)端數(shù)據(jù)*/
void senddata(int fd, int events, void *arg)
{
    struct myevent_s *ev = (struct myevent_s *)arg;
    int len;

    len = send(fd, ev->buf, ev->len, 0);    //直接將數(shù)據(jù)回射給客戶(hù)端

    eventdel(g_efd, ev);                    //從紅黑樹(shù)g_efd中移除

    if (len > 0) 
    {
        printf("send[fd=%d], [%d]%s
", fd, len, ev->buf);
        eventset(ev, fd, recvdata, ev);     //將該fd的回調(diào)函數(shù)改為recvdata
        eventadd(g_efd, EPOLLIN, ev);       //重新添加到紅黑樹(shù)上，設(shè)為監(jiān)聽(tīng)讀事件
    }
    else 
    {
        close(ev->fd);                      //關(guān)閉鏈接
        printf("send[fd=%d] error %s
", fd, strerror(errno));
    }
    return ;
}

/*創(chuàng)建 socket, 初始化lfd */

void initlistensocket(int efd, short port)
{
    struct sockaddr_in sin;

    int lfd = socket(AF_INET, SOCK_STREAM, 0);
    fcntl(lfd, F_SETFL, O_NONBLOCK);                //將socket設(shè)為非阻塞

    memset(&sin, 0, sizeof(sin));               //bzero(&sin, sizeof(sin))
    sin.sin_family = AF_INET;
    sin.sin_addr.s_addr = INADDR_ANY;
    sin.sin_port = htons(port);

    bind(lfd, (struct sockaddr *)&sin, sizeof(sin));

    listen(lfd, 20);

    /* void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg);  */
    eventset(&g_events[MAX_EVENTS], lfd, acceptconn, &g_events[MAX_EVENTS]);    

    /* void eventadd(int efd, int events, struct myevent_s *ev) */
    eventadd(efd, EPOLLIN, &g_events[MAX_EVENTS]);  //將lfd添加到監(jiān)聽(tīng)樹(shù)上，監(jiān)聽(tīng)讀事件

    return;
}

int main()
{
    int port=SERV_PORT;

    g_efd = epoll_create(MAX_EVENTS + 1); //創(chuàng)建紅黑樹(shù),返回給全局 g_efd
    if(g_efd <= 0)
            printf("create efd in %s err %s
", __func__, strerror(errno));

    initlistensocket(g_efd, port); //初始化監(jiān)聽(tīng)socket

    struct epoll_event events[MAX_EVENTS + 1];  //定義這個(gè)結(jié)構(gòu)體數(shù)組，用來(lái)接收epoll_wait傳出的滿(mǎn)足監(jiān)聽(tīng)事件的fd結(jié)構(gòu)體
    printf("server running:port[%d]
", port);

    int checkpos = 0;
    int i;
    while(1)
    {
    /*    long now = time(NULL);
        for(i=0; i < 100; i++, checkpos++)
        {
            if(checkpos == MAX_EVENTS);
                checkpos = 0;
            if(g_events[checkpos].status != 1)
                continue;
            long duration = now -g_events[checkpos].last_active;
            if(duration >= 60)
            {
                close(g_events[checkpos].fd);
                printf("[fd=%d] timeout
", g_events[checkpos].fd);
                eventdel(g_efd, &g_events[checkpos]);
            }
        } */
        //調(diào)用eppoll_wait等待接入的客戶(hù)端事件,epoll_wait傳出的是滿(mǎn)足監(jiān)聽(tīng)條件的那些fd的struct epoll_event類(lèi)型
        int nfd = epoll_wait(g_efd, events, MAX_EVENTS+1, 1000);
        if (nfd < 0)
        {
            printf("epoll_wait error, exit
");
            exit(-1);
        }
        for(i = 0; i < nfd; i++)
        {
            //evtAdd()函數(shù)中，添加到監(jiān)聽(tīng)樹(shù)中監(jiān)聽(tīng)事件的時(shí)候?qū)yevents_t結(jié)構(gòu)體類(lèi)型給了ptr指針
            //這里epoll_wait返回的時(shí)候，同樣會(huì)返回對(duì)應(yīng)fd的myevents_t類(lèi)型的指針
            struct myevent_s *ev = (struct myevent_s *)events[i].data.ptr;
            //如果監(jiān)聽(tīng)的是讀事件，并返回的是讀事件
            if((events[i].events & EPOLLIN) &&(ev->events & EPOLLIN))
            {
                ev->call_back(ev->fd, events[i].events, ev->arg);
            }
            //如果監(jiān)聽(tīng)的是寫(xiě)事件，并返回的是寫(xiě)事件
            if((events[i].events & EPOLLOUT) && (ev->events & EPOLLOUT))
            {
                ev->call_back(ev->fd, events[i].events, ev->arg);
            }
        }
    }
    return 0;
}