Notes
main
main
  • Introduction
  • linuxKernel
    • tips
    • make_help
    • old linux
      • compile_linux0.11
      • TestEnvironment
      • load_setup
      • get_hard_data
    • list
    • plist
    • fifo
    • idr
    • xarray
    • rbtree
    • maple_tree
    • syscall
    • bitmap
    • page
    • page_flags
    • page_size
    • page mapcount
    • page refcount
    • folio
    • slub
      • proc_slabinfo
      • slub_theory
      • kmalloc_kfree
      • kmem_cache
      • slab_alloc
      • slab_free
      • proc_meminfo_SReclaimable_SReclaimable
    • vmalloc
    • brk
    • mmap
    • mremap
    • mprotect
    • madvise
    • read
    • write
    • shmem
    • huge_page
    • page_fault
    • rmap
    • lru
    • multi-gen-LRU
    • page_reclaim
    • page_cache
    • page_table
    • rcu
    • kvm
    • aarch64_boot
    • tracing_system
    • cache_coherence_and_memory_consistency
    • cpu_speculates
    • mmap_lock
    • per-vma_lock
    • cgroup
    • symbol
    • campact
    • page_ext
    • mempool
    • kernelstack
    • filesystem
    • io_stack
    • workingset
    • ioremap
    • sched_period
  • linuxDebug
    • openocd_openjtag
    • i2c_tools
    • objdump
    • addr2line
    • gdb_useage
    • debug_linux_kernel_via_gdb
    • debug_linux_module_via_gdb
    • early_boot
    • sequentially_execute
    • dynamic_debug
    • research_linuxKernel_by_patch
    • tracefs
    • ebpf
    • bpftrace
    • perf
    • flame_graph
    • crash
    • ASAN_HWASAN_MTE_check_mem_bug
    • page_owner
    • vmtouch
    • fio
    • benchmark
  • linuxSystem
    • common
      • system_version
      • procfs
      • proc_sys_vm
      • cmd_ps
      • makefile
      • file_descriptor
      • psi
      • ulimit
      • top
      • delay_accounting
    • ubuntu
      • custom_kernel
      • get_cmd_src
      • record_ssh_info
      • log
      • run_custom_script
      • repo
      • cockpit
      • nfs
      • tftp
      • misc
    • fedora
      • system_upgrade
      • custom_kernel
      • lvextend
      • yt-dlp
      • jellyfin
  • linuxDriver
    • i2c_peripherals_driver
    • spi_peripherals_driver
    • gpio_subsystem
    • IRQ_driver
    • blockIO_unblockIO_async
    • linux_own_driver
    • misc_device
    • input_device
    • timer
    • atomic_spinlock_semaphore_mutex
    • lcd
    • touch_screen
    • debugfs
    • v4l2
    • mmap
  • hardware
    • paging_mmu_pt
    • iommu
  • process_thread_scheduler
    • scheduler01
    • scheduler02
    • scheduler03
    • scheduler04
    • scheduler05
    • scheduler06
  • memory_management
    • mm1
    • mm2
    • mm3
    • mm4
    • mm5
  • input_output_filesystem
    • io_fs_01
    • io_fs_02
    • io_fs_03
    • io_fs_04
  • lock_and_lockup_detector
    • general_lock
    • hung_task
    • softLockup_hardLockup
    • crash_experiment
  • MIT_6.S081
    • 6.S081_Operating_System_Engineering
    • Schedule.md
    • Class
      • Overview
      • Administrivia
    • Labs
      • Tools
      • Guidance
      • startup
      • syscall
      • page_table
      • Calling_Convention
      • traps
    • xv6
      • xv6
    • References.md
  • qemu
    • qemu_buildroot
    • qemu_busybox.md
    • Serial.md
    • demo_mini2440
      • 0_compilation_error_summary
      • 1_compilation_steps
      • 2_operation_mode
      • 3_transplant_tools_libraries
      • 4_tools_use
      • reference_website
  • tools
    • getKernelSourceCodeList
    • nat
    • shell
    • translating
    • YouCompleteMe
    • cscope
    • global
    • vscode
    • vim
    • binary
    • markdown
    • draw
    • git
    • tig
    • tmux
    • mail_client
    • download_patchset_from_LKML
    • minicom
    • clash
  • other
    • interview
    • interview_c_base
    • know_dontknow
    • Stop-Ask-Questions-The-Stupid-Ways
    • How-To-Ask-Questions-The-Smart-Way
    • docker
    • buildroot
    • rv32_to_rv64
Powered by GitBook
On this page
  • 场景案例
  • 阻塞
  • 非阻塞
  • 多路复用
  • Signal IO
  • 异步IO
  • Libevent
  • 模型对比

Was this helpful?

  1. input_output_filesystem

io_fs_01

场景案例

1、初始化后打开背景图片

初始化需要100ms+加载背景图片100ms=200ms

如果在初始化时,同时加载背景图片,就等于100ms

2、CPU算包,网卡发包

CPU算包100ms+网卡发包100ms=200ms

如果CPU是1GHz,就只用到500MHz

如果网卡是1GHz,就只用到500MHz

整体系统性能只发挥50%

CPU算包1后,CPU再一次算包2同时网卡发包1,让CPU算包与网卡发包交替执行,系统性能才可能发挥100%

3、系统启动时间优化,需要让CPU与IO交替执行

用Bootchart分析

总论:

由于以上原因,所以linux中存在很多I/O模型,如 阻塞、非阻塞、多路复用、Signal IO、异步IO、Libevent。

阻塞

read()后,进程进入睡眠状态,等待IO准备好之后,read()才返回。

非阻塞

read()后,进程不会进入睡眠状态,无论IO有没有准备好,read()都立即返回

多路复用

select:适用于监控少数fd,如 5个以下

关键函数:

int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

步骤:

  1. 将需要监控fd放在readfds

  2. 调用select(),进程进入睡眠状态,等待IO准备好之后,select()才返回

  3. 根据select()返回值,对全部监控fd进行逐个判断,是哪一个fd准备好了

  4. 调用非阻塞类型的read()进行操作

epoll:适用于监控很多个fd

关键函数:

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);

步骤:

  1. 通过epoll_ctl()加入需要监控fd

  2. 通过epoll_wait()等待数据就绪

  3. 当数据就绪时,epoll_wait()返回值代表有几个fd处于就绪状态,参数events存放就绪状态的fd

  4. 调用非阻塞类型的read()进行操作

Signal IO

关键函数:

sighandler_t signal(int signum, sighandler_t handler);

步骤:

  1. 调用signal(SIGIO, test_func)注册回调函数test_func()

  2. 当驱动程序发送SIGIO信号时,应用程序执行回调函数test_func()

  3. test_func()调用非阻塞类型的read()进行操作

异步IO

Glibc自带的AIO函数

比如:读取一张图片

步骤:

  1. 执行aio_read()后,立即返回,Glibc自动帮用户程序开一个后台线程执行读操作

  2. 用户程序做其它事情....

  3. 其它事情做完后,调用aio_suspend()检查读操作是否完成。如果读操作完成,立即返回; 否则等待读操作完成。

linux kernel自带的AIO函数

比如:硬盘操作

步骤:

  1. 系统调用io_setup()准备上下文

  2. 系统调用io_submit()发布io请求

  3. 系统调用io_getevents()等待completions

  4. 系统调用io_destroy()释放上下文

Libevent

Libevent是一种事件驱动机制,注册回调函数,如果事件发生,回调函数被调用

它是跨平台,封装底层平台的调用,提供统一的API,在linux中是对epoll进行封装

步骤:

  1. event_init()

  2. event_set()

  3. event_add()

  4. event_dispatch()

模型对比

模型

特点

一个进程/线程,一个连接

进程/线程会占用大量的系统资源,切换开销大;可扩展性差

一个进程/线程,处理多个连接select

fd上限+重复初始化+逐个排查所有fd状态,O(n)的效率不断去查fd

一个进程/线程,处理多个连接epoll

epoll_wait()返回的时候只给应用提供发生了状态变化的fd

Libevent:跨平台,封装底层平台的调用,提供统一的API(Windows-IOCP, Solaris-/dev/poll, FreeBSD-kqueue, Linux-epoll)

当一个fd的特定事件(如可读,可写或出错)发生了,libevent就会自动执行用户指定的callback,来处理事件

Previousinput_output_filesystemNextio_fs_02

Last updated 4 years ago

Was this helpful?