shmem

简介

Linux 支持的共享内存方式：System V 和 POSIX 共享内存。

POSIX 共享内存

函数原型:

int shm_open(const char *name, int oflag, mode_t mode);
int shm_unlink(const char *name);

调用 shm_open() 创建或打开一个共享内存对象 /dev/shm/<name>，属性为 oflag，， 文件节点的权限为 mode（当 oflag 有 O_CREAT 标志，创建一个新共享内存对象）

一个新共享内存对象被创建时，初始长度为 0，需要调用 ftruncate() 来设置 共享内存对象的大小，并且自动初始化为 0。

正常调用 mmap()/munmap 将共享内存对象映射到进程虚拟地址空间中/从进程虚拟地址空间中解除映射即可。

共享内存对象需要手动调用 shm_unlink() 进行删除，否则一直存在系统中或系统重启才消失

可以在命令行执行 ls /dev/shm/ 查看目前系统中存在的共享内存对象

例子：

#include <stdio.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/types.h>

int main(void)
{
	struct stat stat_buf;
	char *buf;
	int fd;

	fd = shm_open("shmtest", O_RDWR | O_CREAT, 0777);

	ftruncate(fd, 4096);

	fstat(fd, &stat_buf);
	printf("st_size 0x%lx\n", stat_buf.st_size);

	buf = mmap(NULL, 4096, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
	*buf = 0x11;
	printf("buf 0x%x\n", *buf);

	munmap(buf, 4096);

	shm_unlink("shmtest");

	return 0;
}

调用流程：用户空间接口 ~ 系统调用接口

$ strace ./a.out
statfs("/dev/shm/", {f_type=TMPFS_MAGIC, f_bsize=4096, f_blocks=1018431, f_bfree=1018431, f_bavail=1018431, f_files=1018431, f_ffree=1018430, f_fsid={val=[0, 0]}, f_namelen=255, f_frsize=4096, f_flags=ST_VALID|ST_NOSUID|ST_NODEV|ST_NOATIME}) = 0
futex(0x7f3150c48390, FUTEX_WAKE_PRIVATE, 2147483647) = 0
openat(AT_FDCWD, "/dev/shm/shmtest", O_RDWR|O_CREAT|O_NOFOLLOW|O_CLOEXEC, 0777) = 3
ftruncate(3, 4096)                      = 0
fstat(3, {st_mode=S_IFREG|0755, st_size=4096, ...}) = 0
write(1, "st_size 0x1000\n", 15st_size 0x1000
)        = 15
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_SHARED, 3, 0) = 0x7f3150e81000
write(1, "buf 0x11\n", 9buf 0x11
)               = 9
munmap(0x7f3150e81000, 4096)            = 0
unlink("/dev/shm/shmtest")              = 0

调用流程：系统调用接口 ~ 内核空间

/* user space ->    kernel space           : file */
shm_open()    -> SYSCALL_DEFINE4(openat    : fs/open.c
shm_unlink()  -> SYSCALL_DEFINE1(unlink    : fs/namei.c

ftruncate()   -> SYSCALL_DEFINE2(ftruncate : fs/open.c
fstat()       -> SYSCALL_DEFINE2(fstat     : fs/stat.c

详细解析：

posix shmem 将看成 "文件页" 进行处理的，但是分配的物理页属于匿名页。

posix shmem 是基于虚拟内存文件系统 tmpfs，当创建一个 shmem 时，会在 /dev/shm/ 中 创建一个文件，于是当 shmem 触发 pagefault 时，与普通文件页 pagefault 一样调用 vma->vm_ops->fault，即 shmem_fault() 函数。

shmem_fault() -> shmem_get_folio_gfp() -> shmem_alloc_and_add_folio()
	shmem_alloc_folio();
	__folio_set_swapbacked()
	shmem_add_to_page_cache()
	folio_add_lru() -> lru_add_fn() -> lruvec_add_folio()
		folio_lru_list()
			folio_is_file_lru() return false
		update_lru_size(LRU_INACTIVE_ANON) update /proc/meminfo Inactive(anon)

调用 shmem_alloc_folio() 分配一个 folio，然后调用 __folio_set_swapbacked() 设置 folio 的 swapbacked 标志，表示该 folio 是匿名页。这样在后面 folio_is_file_lru() 返回 false，将该 folio 加入到匿名页 LRU 链表中。并且调用 update_lru_size() 更新 /proc/meminfo 中的 Inactive(anon) 字段。

shmem_alloc_folio() 分配的 folio，也会调用 shmem_add_to_page_cache() 将 folio 添加到 /dev/shm/xxx 的 xarray 中，这样后面访问该页时，可以直接从 xarray 获取 page cache。

System V 共享内存

函数原型:

int shmget(key_t key, size_t size, int shmflg);
void *shmat(int shmid, const void *shmaddr, int shmflg);
int shmdt(const void *shmaddr);
int shmctl(int shmid, int cmd, struct shmid_ds *buf);

调用 shmget() 通过 key 创建或打开一个共享内存对象，大小为 size， 文件节点的权限为 shmflg（当 shmflg 有 IPC_CREAT 标志，创建一个新共享内存对象）

调用 shmat() 将 shmid 对应的共享内存对象 映射到 进程虚拟地址空间中， 如果 shmaddr 为 NULL，由内核自动查找空闲的虚拟地址空间进行映射，并且返回。

调用 shmdt() 将虚拟地址 shmaddr 对应的共享内存对象进行解除映射

共享内存对象需要手动调用 shmctl() 进行删除，否则一直存在系统中或系统重启才消失

可以在命令行执行 ipcs -m 查看目前系统中存在的共享内存对象

例子：

#include <stdio.h>
#include <sys/ipc.h>
#include <sys/shm.h>

int main(void)
{
        int shmid;
        char *buf;

	printf("%s: 0x%x\n", __func__, ftok("filename", 0));

	shmid = shmget(0x11, 2048, IPC_CREAT|0666);

	buf = shmat(shmid, NULL, 0);
	*buf = 0x12;
	printf("buf 0x%x\n", *buf);
	shmdt(buf);

	shmctl(shmid, IPC_RMID, NULL);

	return 0;
}

调用流程：用户空间接口 ~ 系统调用接口

$ strace ./a.out
stat("filename", {st_mode=S_IFREG|0644, st_size=0, ...}) = 0
write(1, "main: 0xae00\n", 13main: 0xae00)          = 13
shmget(0x11, 4096, IPC_CREAT|0666)      = 1
shmat(1, NULL, 0)                       = 0x7fecbb13d000
write(1, "buf 0x12\n", 9buf 0x12)       = 9
shmdt(0x7fecbb13d000)                   = 0
shmctl(1, IPC_RMID, NULL)               = 0

调用流程：系统调用接口 ~ 内核空间

/* user space ->    kernel space          : file */
    ftok()    -> SYSCALL_DEFINE2(stat     : fs/stat.c

    shmget()  -> SYSCALL_DEFINE3(shmget   : ipc/shm.c
    shmctl()  -> SYSCALL_DEFINE3(shmctl
    shmat()   -> SYSCALL_DEFINE3(shmat
    shmdt()   -> SYSCALL_DEFINE1(shmdt