目录

1. 阻塞和非阻塞 IO

2. IO 多路转接(select、poll、epoll)

3. 存储映射 IO(mmap)

4. 文件锁(fcntl、lockf、flock)

5. 管道实例 - 池类算法


1. 阻塞和非阻塞 IO

  • 阻塞 IO:会等待操作的完成或期待事情的到来。会被信号打断(信号会打断阻塞中的系统调用),若被打断则错误码为 EINTR(假错)。操作的完成和期待事件的到来会通知阻塞的进程。

  • 非阻塞 IO:若操作未完成或期待的事情还没到来,则立即返回,不会等待。若未发生期待事件则返回错误码 EAGAIN(假错)。不会通知,但可以通过轮询查看状态。

有限状态机编程例子,中继引擎实现,实现不同 tty 设备之间的中继引擎,实现 tty 之间相互通信,但是是忙等(因为没有使用阻塞 IO,没有用到同步手段):

1-io/advio/nonblock/relayer

2. IO 多路转接(select、poll、epoll)

上述有限状态机例子是 I/O 密集型任务,可以使用 IO 多路转接。 

IO 多路转接:监视文件描述符的行为,当当前文件描述符发生了期待的行为的时候,才去执行后续的操作。可以监视多个文件描述符。

1. select() 可以用来监视多个文件描述符,包括可读、可写、异常文件描述符,移植性很好,比较古老,传参不稳定。以事件为单位来组织文件描述符。监视期间会阻塞,也会被信号打断(假错)。

#include <sys/select.h>
 
int select(int nfds, fd_set *readfds, fd_set *writefds,
           fd_set *exceptfds, struct timeval *timeout);
 
// 删除指定的fd
void FD_CLR(int fd, fd_set *set);
// 判断fd是否在集合中
int  FD_ISSET(int fd, fd_set *set);
// 将fd加入到集合中
void FD_SET(int fd, fd_set *set);
// 清空集合
void FD_ZERO(fd_set *set);

缺点

  • 监视内容和监视结果存放在同一处 readfds、writefds、exceptfds。 

  • 文件描述符有大小限制。

2. poll() 可以等待在文件描述上发生的特定事件,以文件描述符为单位来组织事件。把期待的事件 events 和已经发生的事件 revents 区分开来了,可以移植。

#include <poll.h>
 
int poll(struct pollfd *fds, nfds_t nfds, int timeout);
 
struct pollfd {
    int   fd;         /* file descriptor */
    short events;     /* requested events */
    short revents;    /* returned events */
};

如果将 timeout 设置为 0 即为非阻塞,-1 表示为阻塞。跳过 pollfd 结构体中的 events 来指定特定的期待事件。

3. epoll(),linux 基于 poll 来做的一些优化版本,不可移植。

#include <sys/epoll.h>
 
// 打开一个epoll文件描述符
int epoll_create(int size);
int epoll_create1(int flags);
 
// 控制epoll文件描述符
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
 
// 等待epoll文件描述符上的事件
int epoll_wait(int epfd, struct epoll_event *events,
               int maxevents, int timeout);
int epoll_pwait(int epfd, struct epoll_event *events,
                int maxevents, int timeout,
                const sigset_t *sigmask);

3. 存储映射 IO(mmap)

可以使用 readv(2) 和 writev(2) 来将读写多个碎片 buffer。

#include <sys/uio.h>
 
ssize_t readv(int fd, const struct iovec *iov, int iovcnt);
 
ssize_t writev(int fd, const struct iovec *iov, int iovcnt);

存储映射 IO 可以将某一块内存,或者某一个文件的内容映射到当前进程空间中

1. mmap(2) 可以将文件或者设备映射到内存中,返回映射区域的起始地址。

#include <sys/mman.h>
 
void *mmap(void *addr, size_t length, int prot, int flags,
           int fd, off_t offset);
int munmap(void *addr, size_t length);

参数: 

  • addr: 指定映射的虚拟内存地址,若为 NULL 则由内核选择合适的虚拟内存地址;

  • length:映射的长度;

  • prot:映射内存的保护模式,可选值如下:

  PROT_EXEC:可以被执行;

  PROT_READ:可以被读取;

  PROT_WRITE:可以被写入;

  PROT_NONE:不可访问;

  • flags:指定映射的类型,可选值如下:

  MAP_FIXED:使用指定的起始虚拟内存地址进行映射;

  MAP_SHARED:与其他所有映射到这个文件的进程共享映射空间(可实现共享内存);

  MAP_PRIVATE:建立一个写时复制(copy-on-write)的私有映射空间;

  MAP_ANONYMOUS:匿名映射,可以替代 malloc,不依赖于任何文件,并且当前空间被  初始化为 0;

  .....

  • fd:进行映射的文件描述符;

  • offset:文件偏移量(从文件何处开始映射);

例子1,mmap.c,使用 mmap 打开文件,并且计算文件中 a 字符出现的次数:

#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
 
int main(int argc, char *argv[])
{
  if (argc < 2)
  {
    fprintf(stderr, "Usage..\n");
    exit(1);
  }
 
  int fd;
  void *addr;
  char *p;
  struct stat statbuf;
  int anum = 0;
  if ((fd = open(argv[1], O_RDONLY)) < 0)
  {
    perror("open");
    exit(1);
  }
 
  if (fstat(fd, &statbuf) < 0)
  {
    perror("fstat");
    exit(1);
  }
 
  addr = mmap(NULL, statbuf.st_size, PROT_READ, MAP_PRIVATE, fd, 0);
  if (addr == MAP_FAILED)
  {
    perror("mmap()");
    exit(1);
  }
 
  p = (char *)addr;
  for (int i = 0; i < statbuf.st_size; i++)
  {
    if (*(p + i) == 'a')
    {
      anum++;
    }
  }
  munmap(addr, statbuf.st_size);
 
  printf("the number of a in the file is: %d\n", anum);
  exit(0);
}

mmap 还能实现共享内存,从而实现有亲缘关系的进程间的通信。比如父进程先 mmap,然后再 fork,这样子进程也能访问父进程 mmap 出来的空间(flags 为 MAP_SHARED 和 MAP_ANONYMOUS)。

例子,share_mem.c,使用 mmap 实现父子进程间的共享内存(子进程写入 hello,父进程打印):

#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <string.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/wait.h>
 
#define MEMSIZE 1024
 
int main()
{
  int fd;
  pid_t pid;
  char *addr;
  addr = (char *)mmap(NULL, MEMSIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);
  if (addr == MAP_FAILED)
  {
    perror("mmap");
    exit(1);
  }
 
  pid = fork();
  if (pid < 0)
  {
    perror("fork");
    exit(1);
  }
 
  if (pid == 0) // child
  {
    strcpy(addr, "Hello!");
    munmap(addr, MEMSIZE);
    exit(0);
  }
  else // parent
  {
    wait(NULL);
    puts(addr);
    munmap(addr, MEMSIZE);
    exit(0);
  }
}

4. 文件锁(fcntl、lockf、flock)

对文件加锁是在 inode 结构体上进行的,如果对一个文件描述符进行了 dup 或者重新 open 了新的文件描述符,对不同的文件描述符加锁和解锁都是作用于同一个 inode 的。 有如下几种文件加锁方法:

fcntl() 前面讲过。Linux系统编程(二)文件IO/系统调用IO-CSDN博客

lockf() 可以对文件进行加锁或者解锁,在 linux 上 lockf 就是 fcntl 的封装。

#include <unistd.h>
 
int lockf(int fd, int cmd, off_t len);

flock() 可以给打开的文件加上或移除咨询锁(advisory lock)。

#include <sys/file.h>
 
int flock(int fd, int operation);

5. 管道实例 - 池类算法

例子:4-parallel/thread/mypipe。

Linux系统编程(李慧琴): Linux系统编程(李慧琴)学习代码及笔记