原文作者：Mikhail Isachenkov of F5, Timo Stark of F5
原文链接：使用Kernel TLS 和 SSL_sendfile( ) 提高 NGINX 性能 - NGINX
转载来源：NGINX 官方网站

TLS（传输层安全协议）是一种极为受欢迎的加密协议。在内核 (kernel) 中实施 TLS (即 kTLS) 可显著降低在用户空间与内核之间复制操作的需求，从而提高 NGINX 的性能。  

现代 Linux 和 FreeBSD 内核支持将 TLS 卸载到内核，而 NGINX 开源版现在也同样能做到！NGINX 1.21.4 在使用 SSL_sendfile() 传输静态文件时引入了 kTLS 支持，可以极大地改善性能。如下所述，内核和 OpenSSL 只有采用 kTLS 构建，才能让 NGINX 使用 SSL_sendfile()。

注：kTLS 的实施这一新兴事物正在迅速发展中。本文描述了截至 2021 年 11 月 NGINX 对 kTLS 的支持情况，但本文提供的信息和说明可能会在之后进行更新，请随时关注 nginx.org 和 NGINX 博客上的公告。

通用要求

• 操作系统 —— 以下任一一个：
  
  FreeBSD 13.0+。截至 2021 年 11 月，FreeBSD 13.0+ 是唯一一个在 NGINX 中支持 kTLS 的操作系统，且无需手动构建 NGINX 即可整合 OpenSSL 3.0.0+。请参阅 在 FreeBSD 上启用支持 kTLS 的 NGINX。  
  
  可以使用在 Linux 内核版本 4.17 或更高版本上构建的 Linux 发行版，但我们建议尽可能使用在版本 5.2 或更高版本上构建的发行版。（实际上，版本 4.13 便提供了 kTLS 支持，但 OpenSSL 3.0.0 需要内核头版本 4.17 或更高版本。）  

• OpenSSL —— 版本 3.0.0 或更高版本
• NGINX —— 版本 1.21.4 或更高版本（主线版）

操作系统支持

支持 kTLS 的操作系统

不支持 kTLS 的操作系统

• Alpine Linux 3.11–3.14 —— 内核使用 CONFIG_TLS=n 选项构建，该选项禁止将 kTLS 构建为模块或内核的一部分。
• Amazon Linux 2 —— 默认 Amazon Linux 2 AMI（请参阅 Amazon Linux 2 常见问题解答）的 Linux 内核版本是 4.14。
• CentOS 7.4+ —— Linux 内核版本为 3.10。继承了上游源 RHEL 7.4+ 的 kTLS 支持特性。
• Debian 10 和 11 —— 内核使用 CONFIG_TLS=n 选项构建（请参阅 Debian 漏洞报告日志）。
• RHEL 7.4+ —— Linux 内核版本是 3.10。
• SLES 12 SP5+ —— Linux 内核版本是 4.12。
• Ubuntu 18.04 LTS —— Linux 内核版本是 4.15。

TLS 协议和密码支持

对于 TLSV1.2，KTLS 模块支持以下密码：

• AES128-GCM-SHA256
• AES256-GCM-SHA384
• ECDHE-RSA-AES128-GCM-SHA256
• ECDHE-RSA-AES256-GCM-SHA384

• TLS_AES_128_GCM_SHA256
• TLS_AES_256_GCM_SHA384
• TLS_CHACHA20_POLY1305_SHA256（仅部分操作系统，如支持 kTLS 的操作系统部分所述）

启用 NGINX 中的 kTLS

我们在文首的介绍中说过，kTLS 可提高 NGINX 的性能，因为所有加密和解密操作都在内核中进行。数据可以直接在内核空间加密，然后传递到网络堆栈进行传输，消除了将数据复制到用户空间、使用 TLS 库对其加密、再返回内核空间进行传输的这一过程的必要性。

加载内核中的 kTLS  

在现代 FreeBSD 和 Linux 发行版中，kTLS 通常被构建为一个模块（使用 CONFIG_TLS=m 选项）。在启动 NGINX 之前，必须将 kTLS 模块显式加载到内核。

• 在 FreeBSD 上，以 root 用户身份运行以下命令：
  

  # kldload ktls ocf
  # sysctl kern.ipc.tls.enable=1

  有关 FreeBSD 命令选项的详细信息，请参阅 ktls(4) 的手册页。  

• 在 Linux 发行版上，以 root 用户身份运行以下命令：
  

  # modprobe tls

在 FreeBSD 上启用支持 kTLS 的 NGINX

1. 构建支持 kTLS 的 OpenSSL 3.0，在配置菜单中选择适当的选项：
   

   # cd /usr/ports/security/openssl-devel && make config && make install

2. 修改 /etc/make.conf，将 openssl-devel 用作 SSL 库：
   

   # echo "DEFAULT_VERSIONS+=ssl=openssl-devel >> /etc/make.conf

3. 构建 NGINX：
   

   # cd /usr/ports/security/openssl-devel & make install

在 Linux 发行版上构建支持 kTLS 的 NGINX

configure 命令中启用 kTLS 支持的两个关键选项是：

• --with--openssl=../openssl-3.0.0
• --with-openssl--opt=enable-ktl

如要使用 OpenSSL 3.0.0 构建 NGINX，请运行以下命令：

$ wget https://nginx.org/download/nginx-1.21.4.tar.gz
$ wget https://www.openssl.org/source/openssl-3.0.0.tar.gz
$ tar xzf openssl-3.0.0.tar.gz
$ cd nginx-1.21.4
$ ./configure \
--with-debug \
--prefix=/usr/local \
--conf-path=/usr/local/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--pid-path=/var/run/nginx.pid \
--lock-path=/var/run/nginx.lock \
--http-client-body-temp-path=/var/cache/nginx/client_temp \
--http-proxy-temp-path=/var/cache/nginx/proxy_temp \
--http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp \
--http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp \
--http-scgi-temp-path=/var/cache/nginx/scgi_temp \
--user=nginx \
--group=nginx \
--with-compat \
--with-file-aio \
--with-threads \
--with-http_addition_module \
--with-http_auth_request_module \
--with-http_dav_module \
--with-http_flv_module \
--with-http_gunzip_module \
--with-http_gzip_static_module \
--with-http_mp4_module \
--with-http_random_index_module \
--with-http_realip_module \
--with-http_secure_link_module \
--with-http_slice_module \
--with-http_ssl_module \
--with-http_stub_status_module \
--with-http_sub_module \
--with-http_v2_module \
--with-mail \
--with-mail_ssl_module \
--with-stream \
--with-stream_realip_module \
--with-stream_ssl_module \
--with-stream_ssl_preread_module \
--with-openssl=../openssl-3.0.0 \
--with-openssl-opt=enable-ktls \
--with-cc-opt='-g -O2 -fstack-protector-strong -Wformat -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2 -fPIC' \
-with-ld-opt='-Wl,-Bsymbolic-functions -Wl,-z,relro -Wl,-z,now -Wl,--as-needed -pie'
$ make –j4
$ make install

配置 NGINX

worker_processes auto;
error_log /var/log/nginx/error.log debug;

events {}

http {
    sendfile on;

    server {
        listen 443 ssl;
        ssl_certificate ssl/example.crt;
        ssl_certificate_key ssl/example.key;
        ssl_conf_command Options KTLS;
        ssl_protocols TLSv1.3;

        location / {
            root /data;
    	}
    }
}

验证 kTLS 是否已启用

$ grep BIO /var/log/nginx/error.log
2021/11/10 16:02:46 [debug] 274550#274550: *2 BIO_get_ktls_send(): 1
2021/11/10 16:02:49 [debug] 274550#274550: *3 BIO_get_ktls_send(): 1
$ grep SSL_sendfile /var/log/nginx/error.log
2021/11/10 16:02:46 [debug] 274550#274550: *2 SSL_sendfile: 1048576
2021/11/10 16:02:49 [debug] 274550#274550: *3 SSL_sendfile: 1048576

借助 kTLS 提高性能

测试性能

使用的硬件和软件：

• AWS t3.medium 实例采用了：
• 4 GB RAM
• 20 GB 通用 SSD
• 英特尔® 至强® 白金 8259CL CPU，2.50GHz 双核处理器
• FreeBSD 13.0 和 Ubuntu 21.10
• TLSv1.3，采用 TLS_AES_256_GCM_SHA384 密码套件
• NGINX 1.21.4，根据启用 NGINX 中的 kTLS 部分的要求构建和配置。

1. 创建一个完全适合磁盘缓存的大文件：
   

   # truncate -s 1g /data/1G

2. 运行以下命令检查吞吐量；多次重复执行基本命令以获得更准确的结果。将输出结果输出到 ministat 实用程序[FreeBSD][Ubuntu]，进行基本的统计分析。
   

   # for i in 'seq 1 100'; do curl -k -s -o /dev/null -w '%{speed_download}\n' https://localhost/1G | ministat

性能测试结果

不支持 kTLS 的 FreeBSD 13.0 的吞吐量：

    N           Min           Max        Median           Avg        Stddev
x  10        532225        573348        555616      555155.6     10239.137

    N           Min           Max        Median           Avg        Stddev
x  10        629379        723164        717349      708600.4     28304.766

    N           Min           Max        Median           Avg        Stddev
x  10        529199        705720        662354      654321.6     48025.103

    N           Min           Max        Median           Avg        Stddev
x  10        619105        760208        756278      741848.3     43255.246

结语

我们很想知道您的 kTLS 和 NGINX 使用体验，尤其是您在其他操作系统上的测试结果！您可以在下方的评论区中分享您的结果。

更多资源

请前往NGINX开源社区：

• 官网：nginx.org.cn
• 微信公众号：https://mp.weixin.qq.com/s/XVE5yvDbmJtpV2alsIFwJg
• 微信群：https://www.nginx.org.cn/static/pc/images/homePage/QR-code.png?v=1621313354
• B站：https://space.bilibili.com/628384319