十六、怎么理解内存中的Buffer和Cache?
cac55 2024-09-21 13:31 19 浏览 0 评论
不同版本的free 所展示的结果不一样。
[ninesun@MiWiFi-R3L-srv ~]$ free -m total used free shared buff/cache availableMem: 972 552 161 19 257 259Swap: 2047 130 1917 GP]# free -g total used free shared buffers cachedMem: 125 125 0 4 0 100-/+ buffers/cache: 25 100Swap: 47 7 40
free 数据的来源
man free 中这样描述
buffers Memory used by kernel buffers (Buffers in /proc/meminfo) cache Memory used by the page cache and slabs (Cached and SReclaimable in /proc/meminfo) buff/cache Sum of buffers and cache
- Buffers 是内核缓冲区用到的内存,对应的是 /proc/meminfo 中的 Buffers 值。
- Cache 是内核页缓存和 Slab 用到的内存,对应的是 /proc/meminfo 中的 Cached 与SReclaimable 之和。
/proc 是 Linux 内核提供的一种特殊文件系统,是用户跟内核交互的接口,用户可以从 /proc 中查询内核的运行状态和配置选项,
查询进程的运行状态、统计数据等,当然,你也可以通过 /proc 来修改内核的配置。proc 文件系统同时也是很多性能工具的最终数据来源。比如 free 就是通过读取 /proc/meminfo ,得到内存的使用情况。
man proc -> 搜索 meminfo
Buffers %lu Relatively temporary storage for raw disk blocks that shouldn't get tremendously large (20MB or so). Cached %lu In-memory cache for files read from the disk (the page cache). Doesn't include SwapCached. SReclaimable %lu (since Linux 2.6.19) Part of Slab, that might be reclaimed, such as caches. SUnreclaim %lu (since Linux 2.6.19) Part of Slab, that cannot be reclaimed on memory pressure.
- Buffers 是对原始磁盘块的临时存储,也就是用来缓存磁盘的数据,通常不会特别大(20MB 左右)。这样,内核就可以把分散的写集中起来,统一优化磁盘的写入,比如可以把多次小的写合并成单次大的写等等。
- Cached 是从磁盘读取文件的页缓存,也就是用来缓存从文件读取的数据。这样,下次访问这些文件数据时,就可以直接从内存中快速获取,而不需要再次访问缓慢的磁盘。
- SReclaimable 是 Slab 的一部分。Slab 包括两部分,其中的可回收部分,用SReclaimable 记录;而不可回收部分,用 SUnreclaim 记录。
第一个问题,Buffer 的文档没有提到这是磁盘读数据还是写数据的缓存,它会不会也缓存从磁盘中读取的数据呢?
第二个问题,文档中提到,Cache 是对从文件读取数据的缓存,那么它是不是也会缓存写文件的数据呢?
案例一 磁盘和文件写案例
在第一个终端,运行下面这个 vmstat 命令:
vmstat 1 每间隔1s 输出一行数据
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 143872 245608 40 139316 0 0 0 0 90 126 4 1 95 0 0 0 0 143872 245608 40 139316 0 0 0 0 91 123 4 0 96 0 0 0 0 143872 245608 40 139316 0 0 0 0 95 129 3 0 97 0 0 0 0 143872 245608 40 139316 0 0 0 0 107 138 4 0 96 0 0 0 0 143872 245608 40 139316 0 0 0 0 95 124 5 0 95 0 0 0 0 143872 245608 40 139316 0 0 0 0 114 148 4 0 96 0 0 0 0 143872 245608 40 139316 0 0 0 0 102 130 4 1 95 0 0 1 0 143872 245608 40 139316 0 0 0 0 100 130 4 0 96 0 0 0 0 143872 245608 40 139316 0 0 0 0 136 126 9 0 91 0 0 0 0 143872 245608 40 139316 0 0 0 0 105 126 5 1 94 0 0 0 0 143872 245608 40 139316 0 0 50 7 882 1279 40 8 52 0 0 0 0 143872 245640 40 139320 0 0 0 0 760 1089 36 5 58 0 0
buff 和 cache 就是我们前面看到的 Buffers 和 Cache,单位是 KB。
bi 和 bo 则分别表示块设备读取和写入的大小,单位为块 / 秒。因为 Linux 中块的大小是 1KB(此处需要注意不是文件系统的块大小),所以这个单位也就等价于 KB/s
man vmstat 可以看到这段描述。
这和我们所认知的block size 是4KB 有什么区别呢?
[root@MiWiFi-R3L-srv ninesun]# stat / | grep "IO Block" Size: 224 Blocks: 0 IO Block: 4096 directory[root@MiWiFi-R3L-srv ninesun]# df -THFilesystem Type Size Used Avail Use% Mounted on /dev/mapper/centos-root xfs 19G 5.5G 13G 30% /
磁盘里面的和文件系统里面的两个基本单位都叫 block size,但是实际上是两个东西,一个是硬盘扇区的大小,应该叫做 sector size(vmstat 中的bi/bo 的单位,别于文件系统的block大小) ;一个是文件系统的 block 的大小。
清理文件页、目录项、Inodes 等各种缓存
$ echo 3 > /proc/sys/vm/drop_caches
第二个终端执行 dd 命令,通过读取随机设备,生成一个 500MB 大小的文件
[root@MiWiFi-R3L-srv ninesun]# dd if=/dev/urandom of=/tmp/file bs=1M count=500500+0 records in500+0 records out524288000 bytes (524 MB) copied, 4.90468 s, 107 MB/s
回到第一个终端,观察 Buffer 和 Cache 的变化情况
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 143872 261912 40 122272 0 0 0 0 627 896 25 2 73 0 0 1 0 143872 261912 40 122324 0 0 0 7 264 575 11 1 88 0 0 0 0 143872 261912 40 122300 0 0 0 0 190 266 11 1 88 0 0 1 0 143872 250416 40 132696 0 0 77 0 219 267 6 8 86 0 0 2 0 143872 161196 40 221984 0 0 0 93196 1373 597 22 77 1 0 0 2 0 143872 72152 40 311244 0 0 0 114688 1342 442 7 93 0 0 0 1 0 143872 70056 40 313344 0 0 0 92160 1242 238 9 91 0 0 0 1 0 143872 72232 40 311012 0 0 0 118692 1285 256 10 90 0 0 0 0 0 143872 71576 40 312536 0 0 1584 93276 1150 302 13 74 13 0 0 0 0 143872 71468 40 312500 0 0 112 136 186 227 10 0 90 0 0 0 0 143872 71468 40 312500 0 0 0 0 182 215 10 1 89 0 0 0 0 143872 71468 40 312500 0 0 0 0 156 178 9 0 91 0 0 4 0 143872 71548 40 312500 0 0 0 0 659 1098 27 4 69 0 0 0 0 143872 71564 40 312500 0 0 0 0 471 439 28 2 70 0 0 0 0 143872 71564 40 312500 0 0 0 0 657 966 27 3 70 0 0
通过观察 vmstat 的输出,我们发现,在 dd 命令运行时, Cache 在不停地增长,而Buffer 基本保持不变
观察I/O,在 Cache 刚开始增长时,块设备 I/O 很少,bi 只出现了一次 77,bo 则只有一次 7。而过一段时间后,才会出现大量的块设备写,比如 bo 变成了 93196 。当 dd 命令结束后,Cache 不再增长,但块设备写还会持续一段时间,并且,多次 I/O写的结果加起来,才是 dd 要写的 500M 的数据。
这几个bo 加起来是512,394 ,大约为500MB。
结论:cache 也会缓存写文件的数据。
需要你的系统配置多块磁盘,并且磁盘分区 /dev/sdb1 还要处于未使用状态。如果你只有一块磁盘,千万不要尝试,否则将会对你的磁盘分区造成损坏
清理缓存后,向磁盘分区 /dev/sdb1 写入 2GB 的随机数据:
# 首先清理缓存$ echo 3 > /proc/sys/vm/drop_caches# 然后运行 dd 命令向磁盘分区 /dev/sdb1 写入 2G 数据$ dd if=/dev/urandom of=/dev/sdb bs=1M count=2048 没有使用fdisk 分区 直接裸磁盘。
观察内存和 I/O 的变化情况
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 106048 195076 40 182384 0 0 0 0 170 246 2 4 94 0 0 2 0 106048 195076 40 182384 0 0 0 0 936 855 54 12 34 0 0 0 0 106048 195076 40 182384 0 0 0 0 893 792 53 8 39 0 0 2 0 106048 194524 40 182520 0 0 56 0 498 446 25 8 67 0 0 0 0 106048 194524 40 182520 0 0 0 0 327 399 15 4 81 0 0 2 0 106048 185696 8232 182768 0 0 76 0 413 467 13 15 71 1 0 3 0 106048 148020 44456 183648 0 0 0 24576 1257 939 26 74 0 0 0 2 0 106048 112820 79104 184612 0 0 0 49152 1199 665 26 74 0 0 0 3 0 106048 114332 98372 163872 0 0 73 43645 1120 478 7 93 0 0 0 1 0 106048 108888 104740 163008 0 0 520 30204 1196 403 33 67 0 0 0 1 0 106048 113160 101396 161632 0 0 0 49152 1217 517 13 87 0 0 0 1 0 106048 108180 107108 160972 0 0 0 56320 1083 231 4 96 0 0 0 2 0 106048 111728 104132 159628 0 0 0 47108 1065 222 5 95 0 0 0 3 0 106048 113264 103076 159204 0 0 0 51196 1086 219 4 96 0 0 0 1 0 106048 112416 103848 159256 0 0 0 49152 1085 240 6 94 0 0 0 4 0 106048 115448 101796 159344 0 0 0 49152 1171 463 13 87 0 0 0 2 0 106048 114596 102620 159360 0 0 0 24576 1206 830 27 73 0 0 0 3 0 106048 113556 103316 159436 0 0 0 31744 1311 968 45 55 0 0 0 2 0 106048 113424 102916 160000 0 0 440 49152 1092 375 8 92 0 0 0 4 0 106048 113140 102976 160128 0 0 144 24576 1238 708 36 64 0 0 0 1 0 106048 110524 101960 164016 0 0 3788 24576 897 277 15 85 0 0 0 4 0 106048 112412 99308 163548 0 0 0 52740 1051 188 7 93 0 0 0 2 0 106048 115592 101148 158560 0 0 140 51708 1063 190 1 99 0 0 0 2 0 106048 115968 101824 158672 0 0 0 68100 1031 204 2 98 0 0 0 1 0 106048 118360 99680 157388 0 0 0 54780 1070 204 1 99 0 0 0 1 0 106048 118484 100520 157480 0 0 0 49152 1091 199 10 90 0 0 0 3 0 106048 120404 97368 157588 0 0 0 49152 1069 192 10 90 0 0 0
虽然同是写数据,写磁盘跟写文件的现象还是不同的。写磁盘时(也就是 bo 大于 0 时),Buffer 和 Cache 都在增长,但显然 Buffer 的增长快得多。这说明,写磁盘用到了大量的 Buffer,这跟我们在文档中查到的定义是一样的
对比两个案例,我们发现,写文件时会用到 Cache 缓存数据,而写磁盘则会用到 Buffer来缓存数据。
Cache 是文件读的缓存,也会缓存写文件时的数据。
案例二 磁盘和文件读案例
清理缓存后,从文件 /tmp/file 中,读取数据写入空设备:
[root@MiWiFi-R3L-srv tmp]# ll -ths|grep file500M -rw-r--r--. 1 root root 500M Aug 9 00:37 file # 首先清理缓存$ echo 3 > /proc/sys/vm/drop_caches# 运行 dd 命令读取文件数据$ dd if=/tmp/file of=/dev/null [root@MiWiFi-R3L-srv tmp]# dd if=/tmp/file of=/dev/null1024000+0 records in1024000+0 records out524288000 bytes (524 MB) copied, 5.91814 s, 88.6 MB/s
观察内存和 I/O 的变化情况:
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 3 0 105280 230760 0 141836 0 0 0 0 248 243 13 4 83 0 0 0 0 105280 230004 0 141836 0 0 16 48 121 229 2 1 97 0 0 2 0 105280 128440 0 244116 0 0 102324 0 1016 394 20 67 13 0 0 4 0 105280 74164 0 297880 0 0 53748 4 1244 677 55 45 0 0 0 1 0 105280 76772 0 295764 0 0 51104 0 1316 731 53 47 0 0 0 3 0 105280 60392 0 313008 0 0 112736 0 1122 347 25 75 0 0 0 1 0 105280 64924 0 308444 0 0 90112 0 1255 611 35 65 0 0 0 1 0 105280 62052 0 311292 0 0 102400 0 915 192 26 74 0 0 0 0 0 105280 60628 0 312208 0 0 900 0 347 276 21 3 76 0 0 0 0 105280 60628 0 312208 0 0 0 0 140 193 5 1 94 0 0
读取文件时(也就是 bi 大于 0 时),Buffer 保持不变,而 Cache 则在不停增长。这跟我们查到的定义“Cache 是对文件读的页缓存”是一致的。
再来看磁盘读的情况
清理缓存后,从磁盘分区 /dev/sdb 中读取数据,写入空设备:
# 首先清理缓存$ echo 3 > /proc/sys/vm/drop_caches# 运行 dd 命令读取文件$ dd if=/dev/sdb of=/dev/null bs=1M count=1024 [root@MiWiFi-R3L-srv tmp]# dd if=/dev/sdb of=/dev/null bs=1M count=10241024+0 records in1024+0 records out1073741824 bytes (1.1 GB) copied, 4.81571 s, 223 MB/s
观察I/O变化
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 106304 228020 0 145592 5 67 909 1358 225 327 8 7 86 0 0 2 0 106304 228012 0 145592 0 0 16 67 473 459 32 5 63 0 0 2 0 106304 228028 0 145592 0 0 0 0 763 560 49 5 45 0 0 0 0 106304 228028 0 145592 0 0 0 0 448 341 32 2 66 0 0 5 0 106304 108376 129176 134108 0 0 280032 0 1197 474 21 78 1 0 0 4 0 106304 102672 135176 133832 0 0 209516 0 1270 537 43 57 0 0 0 2 0 106304 111156 126228 134268 0 0 184320 0 1315 749 42 58 0 0 0 2 0 106304 119968 116840 134748 0 0 237280 0 1211 472 29 71 0 0 0 0 0 106304 238144 0 134616 0 0 144252 0 1158 684 41 55 3 0 0 0 0 106304 238144 0 134616 0 0 0 0 920 834 55 8 37 0 0
发现读磁盘时(也就是 bi 大于 0 时),Buffer 和 Cache 都在增长,但显然 Buffer 的增长快很多。这说明读磁盘时,数据缓存到了 Buffer 中。
结论:
- Buffer 既可以用作“将要写入磁盘数据的缓存”,也可以用作“从磁盘读取数据的缓存”。
- Cache 既可以用作“从文件读取数据的页缓存”,也可以用作“写文件的页缓存”。
Buffer 是对磁盘数据的缓存,而 Cache 是文件数据的缓存,它们既会用在读请求中,也会用在写请求中。
相关推荐
- Mac电脑强制删除任何软件方法-含自启动应用
-
对于打工者来说,进入企业上班使用的电脑大概率是会被监控起来,比如各种流行的数据防泄漏DLP,奇安信天擎,甚至360安全卫士,这些安全软件你想卸载是非常困难的,甚至卸载后它自己又安装回来了,并且还在你不...
- Linux基础知识 | 文件与目录大全讲解
-
1.linux文件权限与目录配置1.文件属性Linux一般将文件可存取的身份分为三个类别,分别是owner/group/others,且三种身份各read/write/execute等权限文...
- 文件保护不妥协:2025 年 10 款顶级加密工具推荐
-
数据安全无小事,2025年这10款加密工具凭借独特功能脱颖而出,从个人到企业场景全覆盖,第一款为Ping32,其余为国外英文软件。1.Ping32企业级加密核心工具,支持200+文件格...
- 省心省力 一个软件搞定系统维护_省心安装在哪里能找到
-
◆系统类似于我们居住的房间,需要经常打理才能保持清洁、高效。虽然它本身也自带一些清理和优化的工具,但借助于好用的第三方工具来执行这方面的任务,会更让人省心省力。下面笔者就为大家介绍一款集多项功能于一身...
- JAVA程序员常用的几个工具类_java程序员一般用什么软件写程序
-
好的工具做起事来常常事半功倍,下面介绍几个开发中常用到的工具类,收藏一下,也许后面真的会用到。字符串处理:org.apache.commons.lang.StringUtilsisBlank(Char...
- 手工解决Windows10的若干难题_windows10系统卡顿怎么解决
-
【电脑报在线】很多朋友已经开始使用Win10,估计还只是测试版本的原因,使用过程中难免会出现一些问题,这里介绍解决一些解决难题的技巧。技巧1:让ProjectSpartan“重归正途”从10074...
- System32文件夹千万不能删除,看完这篇你就知道为什么了
-
C:\Windows\System32目录是Windows操作系统的关键部分,重要的系统文件存储在该目录中。网上的一些恶作剧者可能会告诉你删除它,但你不应该尝试去操作,如果你尝试的话,我们会告诉你会发...
- Windows.old 文件夹:系统备份的解析与安全删除指南
-
Windows.old是Windows系统升级(如Win10升Win11)或重装时,系统自动在C盘创建的备份文件夹,其核心作用是保留旧系统的文件、程序与配置,为“回退旧系统”提供保...
- 遇到疑难杂症?Windows 10回收站问题巧解决
-
回收站是Windows10的一个重要组件。然而,我们在使用过程中,可能会遇到一些问题。例如,不论回收站里有没有文件,都显示同一个图标,让人无法判别回收站的空和满的真实情况;没有了像Windows7...
- 卸载软件怎么彻底删掉?简单几个步骤彻底卸载,电脑小白看过来
-
日常工作学习生活中,我们需要在安装一些软件程序,但随着软件的更新迭代速度,很多时候我们需要重新下载安装新的程序,这时就需要将旧的一些软件程序进行卸载。但是卸载软件虽然很简单,但是很多小伙伴们表示卸载不...
- 用不上就删!如何完全卸载OneDrive?
-
作为Windows10自带的云盘,OneDrive为资料的自动备份和同步提供了方便。然而,从隐私或其他方面考虑,有些人不愿意使用OneDrive。但Windows10本身不提供直接卸载OneDri...
- 【Linux知识】Linux下快速删除大量文件/文件夹方法
-
在Linux下,如果需要快速删除大量文件或文件夹,可以使用如下方法:使用rm命令删除文件:可以使用rm命令删除文件,例如:rm-rf/path/to/directory/*这个命令会递...
- 清理系统不用第三方工具_清理系统垃圾用什么软件
-
清理优化系统一定要借助于优化工具吗?其实,手动优化系统也没有那么神秘,掌握了方法和技巧,系统清理也是一件简单和随心的事。一方面要为每一个可能产生累赘的文件找到清理的方法,另一方面要寻找能够提高工作效率...
- 系统小技巧:软件卸载不了?这里办法多
-
在正常情况下,我们都是通过软件程序组中的卸载图标,或利用控制面板中的“程序和功能”模块来卸载软件的。但有时,我们也会发现利用卸载图标无法卸载软件或者卸载图标干脆丢失找不到了,甚至控制面板中卸载软件的功...
- 麒麟系统无法删除文件夹_麒麟系统删除文件权限不够
-
删除文件夹方法例:sudorm-rf文件夹名称。删除文件方法例:sudorm-r文件名包括扩展名。如果没有权限,给文件夹加一下权限再删。加最高权限chmod775文件名加可执行权限...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- 如何绘制折线图 (52)
- javaabstract (48)
- 新浪微博头像 (53)
- grub4dos (66)
- s扫描器 (51)
- httpfile dll (48)
- ps实例教程 (55)
- taskmgr (51)
- s spline (61)
- vnc远程控制 (47)
- 数据丢失 (47)
- wbem (57)
- flac文件 (72)
- 网页制作基础教程 (53)
- 镜像文件刻录 (61)
- ug5 0软件免费下载 (78)
- debian下载 (53)
- ubuntu10 04 (60)
- web qq登录 (59)
- 笔记本变成无线路由 (52)
- flash player 11 4 (50)
- 右键菜单清理 (78)
- cuteftp 注册码 (57)
- ospf协议 (53)
- ms17 010 下载 (60)