Linux高并发调优总结

高并发调优主要涉及3方面,单进程最大打开文件数限制、内核TCP参数方面和IO事件分配机制,下面从这3方面进行调优:
如非必须,关掉或卸载iptables防火墙,并阻止kernel加载iptables模块。这些模块会影响并发性能

单进程最大打开文件数限制

ulimit -n 65535

将root启动的单一进程的最大可以打开的文件数设置为65535个。如果系统回显类似于Operationnotpermitted之类的话,说明上述限制修改失败,实际上是因为在中指定的数值超过了Linux系统对该用户打开文件数的软限制或硬限制。因此,就需要修改Linux系统对用户的关于打开文件数的软限制和硬限制,步骤如下:

  1. 修改limits.conf文件,并添加:
vim /etc/security/limits.conf
    * soft nofile 65535
    * hard nofile 65535

其中*号表示修改所有用户的限制;soft或hard指定要修改软限制还是硬限制;65536则指定了想要修改的新的限制值,即最大打开文件数(请注意软限制值要小于或等于硬限制)。

  1. 修改/etc/pam.d/login文件,在文件中添加如下行:
vim /etc/pam.d/login
    session required /lib64/security/pam_limits.so
    # session required /lib/security/pam_limits.so # 32位系统

在用户完成系统登录后,应该调用pam_limits.so模块来设置系统对该用户可使用的各种资源数量的最大限制(包括用户可打开的最大文件数限制),而pam_limits.so模块就会从/etc/security/limits.conf文件中读取配置来设置这些限制值。

  1. 查看Linux系统级的最大打开文件数限制,使用如下命令:
cat /proc/sys/fs/file-max
    395312

这表明这台Linux系统最多允许同时打开395312个文件(即包含所有用户打开文件数总和),是Linux系统级硬限制,所有用户级的打开文件数限制都不应超过这个数值。通常这个系统级硬限制是Linux系统在启动时根据系统硬件资源状况计算出来的最佳的最大同时打开文件数限制,如果没有特殊需要,不应该修改此限制,除非想为用户级打开文件数限制设置超过此限制的值。
修改此硬限制的方法是修改/etc/sysctl.conf文件内fs.file-max = 650000,这是让Linux在启动完成后强行将系统级打开文件数硬限制设置为650000

内核TCP参数方面

Linux系统下,TCP连接断开后,会以TIME_WAIT状态保留一定的时间,然后才会释放端口。当并发请求过多的时候,就会产生大量的TIME_WAIT状态的连接,无法及时断开的话,会占用大量的端口资源和服务器资源。这个时候我们可以优化TCP的内核参数,来及时将TIME_WAIT状态的端口清理掉。
下面的方法只对拥有大量TIME_WAIT状态的连接导致系统资源消耗有效,如果不是这种情况下,效果可能不明显。可以使用netstat命令去查TIME_WAIT状态的连接状态,输入下面的组合命令,查看当前TCP连接的状态和对应的连接数量:

netstat -n | awk '/^tcp/ {++S[$NF]} END {for (a in S) print a, S[a]}'
    # 输出类似下面的结果:
    # LAST_ACK16
    # SYN_RECV348
    # ESTABLISHED70
    # FIN_WAIT1229
    # FIN_WAIT230
    # CLOSING33
    # TIME_WAIT18098

只用关心TIME_WAIT的个数,在这里可以看到,有18000多个TIME_WAIT,这样就占用了18000多个端口。要知道端口的数量只有65535个,占用一个少一个,会严重的影响到后继的新连接。这种情况下,我们就有必要调整下Linux的TCP内核参数,让系统更快的释放TIME_WAIT连接。

vim /etc/sysctl.conf
    net.ipv4.tcp_syncookies= 1
    net.ipv4.tcp_tw_reuse= 1
    net.ipv4.tcp_tw_recycle= 1
    net.ipv4.tcp_fin_timeout= 30
    # ----------------------------
    net.ipv4.tcp_keepalive_time= 1200
    net.ipv4.ip_local_port_range= 1024 65535
    net.ipv4.tcp_max_syn_backlog= 8192
    net.ipv4.tcp_max_tw_buckets= 5000
sysctl -p
# net.ipv4.tcp_syncookies= 1:表示开启SYNCookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭。
# net.ipv4.tcp_tw_reuse= 1:表示开启重用。允许将TIME-WAITsockets重新用于新的TCP连接,默认为0,表示关闭。
# net.ipv4.tcp_tw_recycle= 1:表示开启TCP连接中TIME-WAITsockets的快速回收。默认为0,表示关闭。
# net.ipv4.tcp_fin_timeout:修改系統默认的TIMEOUT时间。
# net.ipv4.tcp_keepalive_time= 1200:表示当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时,改为20分钟。
# ip_local_port_range= 1024 65535:表示用于向外连接的端口范围。缺省情况下很小,改为1024到65535。
# net.ipv4.tcp_max_syn_backlog= 8192:表示SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数。
# net.ipv4.tcp_max_tw_buckets= 5000:表示系统同时保持TIME_WAIT的最大数量,如果超过这个数字,TIME_WAIT将立刻被清除并打印警告信息。默认为180000,改为5000。此项参数可以控制TIME_WAIT的最大数量,只要超出就清除。

前4行调整之后,除了会进一步提升服务器的负载能力之外,还能够防御小流量程度的DoS、CC和SYN攻击。此外,如果连接数本身就很多,我们可以再优化一下TCP的可使用端口范围,进一步提升服务器的并发能力,加入后4行参数,建议只在流量非常大的服务器上开启,会有显著的效果。一般的流量小的服务器上,没有必要去设置后4行参数。
内核其他TCP参数说明:

net.ipv4.tcp_max_syn_backlog= 65535
# 记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言,缺省值是1024,小内存的系统则是128。

 net.core.netdev_max_backlog= 32768
# 每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。

net.core.somaxconn= 32768
# 例如web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128,而nginx定义的NGX_LISTEN_BACKLOG默认为511,所以有必要调整这个值。

net.core.wmem_default= 8388608
net.core.wmem_max= 16777216 
# 最大socket写buffer,可参考的优化值873200

net.core.rmem_default= 8388608
net.core.rmem_max= 16777216 
#最大socket读buffer,可参考的优化值873200

net.ipv4.tcp_wmem= 8192 436600 873200
# TCP写buffer,可参考的优化值:8192 436600 873200

net.ipv4.tcp_rmem = 32768 436600 873200
# TCP读buffer,可参考的优化值:32768 436600 873200

net.ipv4.tcp_timestsmps= 0
# 时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉。

net.ipv4.tcp_synack_retries= 2
# 为了打开对端的连接,内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK包的数量。

net.ipv4.tcp_syn_retries= 2
# 在内核放弃建立连接之前发送SYN包的数量。

net.ipv4.tcp_tw_reuse= 1
# 开启重用。允许将TIME-WAITsockets重新用于新的TCP连接。

net.ipv4.tcp_mem= 94500000 91500000 92700000
# 有3个值,意思分别是是:
#   net.ipv4.tcp_mem[0]:低于此值,TCP没有内存压力。
#   net.ipv4.tcp_mem[1]:在此值下,进入内存压力阶段。
#   net.ipv4.tcp_mem[2]:高于此值,TCP拒绝分配socket。
# 上述内存单位是页,而不是字节。可参考的优化值是786432 1048576 1572864

net.ipv4.tcp_max_orphans= 3276800
# 系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。
# 如果超过这个数字,连接将即刻被复位并打印出警告信息。
# 这个限制仅仅是为了防止简单的DoS攻击,不能过分依靠它或者人为地减小这个值,更应该增加这个值(如果增加了内存之后)。

net.ipv4.tcp_fin_timeout= 30
# 如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间。
# 对端可以出错并永远不关闭连接,甚至意外当机。缺省值是60秒。2.2 内核的通常值是180秒,你可以按这个设置,但要记住的是,即使你的机器是一个轻载的WEB服务器,也有因为大量的死套接字而内存溢出的风险,FIN-WAIT-2的危险性比FIN-WAIT-1要小,因为它最多只能吃掉1.5K内存,但是它们的生存期长些。
# 同时还涉及到一个TCP 拥塞算法的问题,你可以用下面的命令查看本机提供的拥塞算法控制模块:sysctlnet.ipv4.tcp_available_congestion_control
# 对于几种算法的分析,详情可以参考下:TCP拥塞控制算法的优缺点、适用环境、性能分析,比如高延时可以试用hybla,中等延时可以试用htcp算法等。
# 如果想设置TCP拥塞算法为hybla:net.ipv4.tcp_congestion_control=hybla
# 额外的,对于内核版高于于3.7.1的,我们可以开启tcp_fastopen:net.ipv4.tcp_fastopen= 3

IO事件分配机制

在开发支持高并发TCP连接的Linux应用程序时,应尽量使用epoll或AIO技术来实现并发的TCP连接上的I/O控制,这将为提升程序对高并发TCP连接的支持提供有效的I/O保证。
原因如下:

  1. 可用的I/O技术有同步I/O,非阻塞式同步I/O,以及异步I/O。
    在高TCP并发的情形下,如果使用同步I/O,这会严重阻塞程序的运转,除非为每个TCP连接的I/O创建一个线程。
    但是,过多的线程又会因系统对线程的调度造成巨大开销。
    因此,在高TCP并发的情形下使用同步I/O是不可取的,可以考虑使用非阻塞式同步I/O或异步I/O。
    非阻塞式同步I/O的技术包括使用select()、poll()、epoll等机制,异步I/O的技术就是使用AIO。
  2. 从I/O事件分派机制来看,使用select()是不合适的,因为它所支持的并发连接数有限(通常在1024个以内)。
    如果考虑性能,poll()也是不合适的,尽管它可以支持的较高的TCP并发数,但是由于其采用“轮询”机制,当并发数较高时,其运行效率相当低,并可能存在I/O事件分派不均,导致部分TCP连接上的I/O出现“饥饿”现象。
    而如果使用epoll或AIO,则没有上述问题(早期Linux内核的AIO技术实现是通过在内核中为每个I/O请求创建一个线程来实现的,这种实现机制在高并发TCP连接的情形下使用其实也有严重的性能问题。但在最新的Linux内核中,AIO的实现已经得到改进)。