说来惭愧,我被ulimit摔了一跤...

说来惭愧,我被ulimit摔了一跤...

自接触 linux 后，大家所受的教育就是 ulimit是最便捷的内核优化途径，事实也确实如此。

这次摔跤也是基础知识遗忘，所以特地总结下。「反正每次写文档都忍不住吐槽国内博客技术文档，大家相互抄，最后错的都能变成对的...」。文末有高并发业务，32c64g硬件配置的ulimit 配置推荐

从下图开始，如果如下几个问题都能正确回答，就可以关闭文章了：

1. ulimit -a 设置的 open files 为什么是 65535, 这个数字从何而来，有何依据
2. 为什么 open files 显示的是 65535, 而 lsof -u www | wc -l 显示的却有 3145600,但仍然能 su - www成功，不应该超过 65535后，就应该提示 resource limit 错误吗？

ulimit问题截图.png

其实如上两个问题都是很基础的问题。

先说 65535 从何而来。从我能追溯到的文章来看，比较合理的解释是，在真实 32 位操作系统还存在时， 2^16-1 是 65535, 即系统预留16位给自己使用，最多提供16位给用户程序。在32位系统中，select()函数甚至做了硬上限规定。当然，这仅限于32位系统，现今64位系统不存在65535上限问题。即可大于该数值。

一些对句柄数有严重依赖的新秀开源软件，也在官网文档中明确声明 max open files 数值，以 swoole为例，建议配置为20w +, 远超 65535 。

至于，为什么现今互联网所有文档中依然沿用 65535 ，大概率是“抄袭” 遗留的问题。so...

第二个问题，为什么已经最大文件句柄数已经超限，但还能su - www。这里要复习下 ulimit 的知识了。

limit 命令详解

语法

ulimit [-aHS][-c <core文件上限>][-d <数据节区大小>][-f <文件大小>][-m <内存大小>][-n <文件数目>][-p <缓冲区大小>][-s <堆叠大小>][-t <CPU时间>][-u <程序数目>][-v <虚拟内存大小>]

参数：

• -a 　显示目前资源限制的设定。
• -c <core文件上限> 　设定core文件的最大值，单位为区块。
• -d <数据节区大小> 　程序数据节区的最大值，单位为KB。
• -f <文件大小> 　shell所能建立的最大文件，单位为区块。
• -H 　设定资源的硬性限制，也就是管理员所设下的限制。
• -m <内存大小> 　指定可使用内存的上限，单位为KB。
• -n <文件数目> 　指定同一时间最多可开启的文件数。
• -p <缓冲区大小> 　指定管道缓冲区的大小，单位512字节。
• -s <堆叠大小> 　指定堆叠的上限，单位为KB。
• -S 　设定资源的弹性限制。
• -t <CPU时间> 　指定CPU使用时间的上限，单位为秒。
• -u <程序数目> 　用户最多可开启的程序数目。
• -v <虚拟内存大小> 　指定可使用的虚拟内存上限，单位为KB。

参数详解

core file size           (blocks, -c) 0
data seg size            (kbytes, -d) unlimited  # 一个进程的数据段的最大值
scheduling priority              (-e) 0
file size                (blocks, -f) unlimited  # Shell创建文件的最大体积, 1block = 512bytes
pending signals                  (-i) 1031426    # 最多允许多少个待处理的信号
max locked memory        (kbytes, -l) 64         # 每个进程可以锁住的物理内存的最大值
max memory size          (kbytes, -m) unlimited  # 每个进程可以使用的常驻内存的最大值
open files                       (-n) 65535      # 每个进程可以同时打开的最大文件数, 不能是unlimited
pipe size             (512 bytes, -p) 8          # 管道的最大值, 1block = 512bytes
POSIX message queues      (bytes, -q) 819200     # POSIX的消息队列的最大值
real-time priority               (-r) 0
stack size               (kbytes, -s) 10240      # 单个进程能够使用的最大栈大小
cpu time                (seconds, -t) unlimited  # 单个进程的最大CPU时间, 也就是可使用CPU的秒数, 到硬极限时, 这个进程就会立即自杀; 到软极限时, 每秒发送一次限制超时信号SIGXCPU
max user processes               (-u) 131072     # 单个用户可同时运行的最大进程数, 不能是unlimited
virtual memory           (kbytes, -v) unlimited  # 每个进程可使用的最大虚拟内存
file locks                       (-x) unlimited  # 每个进程能锁住的最大文件个数

open files 设置的65556` 是单进程可打开的最大文件句柄数，即用户可打开的最大文件句柄数是:

(max user processes) * (max open files)

so...

图中虽然 www 用户打开了 3145600 个文件句柄数, 但如果

1. 没有超过系统最大句柄数限制, 即 (max user processes) * (max open files)；
2. 没有超过 max user processes 限制；
3. 没有超过单进程最大句柄数设置，即65535；

则，应用均可正常运行。

那如何统计用户已打开的文件句柄数及用户已打开的进程数呢？

• 统计www用户打开的进程数 # lsof -u www | awk '{print $2}' | uniq -c | wc -l
• 统计www用户打开的占用的所有文件句柄数

# lsof -u www | wc -l

小结下 limit 配置过程中容易跳的坑

• 两个生效方式：永久生效和临时生效

永久生效：配置文件 /etc/sysctl.conf 或 /etc/security/*.conf , sysctl -p 永久生效

临时生效：ulimit -SHn 65535

• 配置优先级

1. ulimit 命令 > /etc/security/*.conf > /etc/sysctl.conf

敲黑板

尤其是 /etc/security/*.conf 的优先级高于 /etc/sysctl.conf... 这里非常容易误导

1. 应用内置的ulimit 设置 > 运行用户的系统 ulimit 设置

以如图mongodb启动脚本为例，如果在启动脚本中专门设置了 ulimit ，则以ulimit 为准。

02-mongodb启动脚本.png

类似的配置如 nginx 的 worker_rlimit_nofile 配置。

• 失效背景

1. Centos 6 和7 配置 ulimit 区别

Centos 7 systemd 接管系统后，削弱了对 /etc/sysctl.conf的权限。关注 /etc/security/limits.conf 和 /etc/security/limit.d/*.conf 的配置。基本不会出差。

1. Daemon 进程 ulimit 失效

敲黑板

ulimit 生效针对的是运行在当前执行 Ulimit 命令的bash shell。即，以 daemon 运行的进程启动时，bash shell的环境变量对其无效。

# man ulimit
.
.
.
ulimit [-HSTabcdefilmnpqrstuvx [limit]]
              Provides control over the resources available to the shell and to processes started  by  it,  on  systems  that  allow  such  control.

• 查看系统和进程的ulimit 设置

# cat /proc/sys/fs/file-max  # 查看系统 max files 设置
# cat /proc/$fpid/limits   # 查看进程 limit 配置

最后提供一个高并发业务 的ulimit 的配置模板:

1. 配置/etc/sysctl.conf 设置 fs.file-max = 6553560 即 650w， 从我们现有的业务来看，32c64g的服务器，配置了1200 php-fpm和 1000线程 swoole。系统总的句柄消耗达到了 320w+。
2. 配置/etc/security/limits.conf * soft nofile 65535 * hard nofile 65535 * soft noproc 65535 * hard noproc 65535 root soft nofile 65535 root hard nofile 65535 root soft noproc 65535 root hard noproc 65535
3. 一定要配置/etc/security/limits.d/90-nproc.conf

*          soft    nproc     65535
root       soft    nproc     65535

~ over