Nginx

GitbookBackend2021-01-11

Nginx 在日常开发过程中主要作为静态资源服务器(http 服务器)和反向代理服务器。

📑 Nginx 常用变量

$host: 请求的主机头

    if ($host = 'bbs.gitlib.com') {
        rewrite ^/$ http://bbs.bliwan.com permanent;
    }

remote_addr: 客户端 IP 地址
remote_port: 客户端端口号
remote_user: 已经经过 Auth Basic Module 验证的用户名
http_referer: 请求引用地址
httpuseragent: 客户端代理信息(UA)
httpxforwarded_for: 相当于网络访问路径
bodybytessent: 页面传送的字节数
time_local: 服务器时间
request: 客户端请求
request_uri: 请求的 URI,带参数, 不包含主机名
request_filename: 请求的文件路径
request_method: 请求的方法，如 GET、POST
args: 客户端请求中的参数
query_string: 等同于$args, 客户端请求的参数
nginx_version: 当前 nginx 版本
status: 服务器响应状态码
server_addr: 服务器地址
server_port: 请求到达的服务器端口号
server_protocol: 请求的协议版本
content_type: HTTP 请求信息里的 Content-Type 字段
content_length: HTTP 请求信息里的 Content-Length 字段
uri: 请求中的当前 URI(不带请求参数，参数位于$args)
document_root: 当前请求在 root 指令中指定的值
document_uri: 与$uri 相同

📑 定义日志格式示例:

log_format access '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" $http_x_forwarded_for';
输入格式:
14.18.29.118 - - [24/Jun/2017:20:53:09 +0800] "GET /index.html HTTP/1.1" 200 23 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36" -

📑 Nginx 设置重定向

return形式

# 301永久重定向，302临时重定向
return 301 https://example.com$request_uri;

# return 返回形式
return code;
return code URL;
return URL;

rewrite形式

rewrite ^/$ http://bbs.gitlib.com permanent;

rewrite flag说明:
- last: 停止处理后续 rewrite 指令集，然后对当前重写的新 URI 在 rewrite 指令集上重新查找
- break: 停止处理后续 rewrite 指令集，并不在重新查找,但是当前 location 内剩余非 rewrite 语句和 location 外的非 rewrite 语句可以执行
- redirect: 如果 replacement 不是以 http:// 或 https://开始，返回 302 临时重定向
- permant: 返回 301 永久重定向

📑 Nginx 条件判断

if判断

if ($http_user_agent ~ (125LA|WinHttpRequest|360Spider)) {
	return 444;
}

if ($http_referer ~* "filter=author&orderby=dateline") {
	return 444;
}

if ($host = 'bbs.gitlib.com') {
	rewrite ^/$ http://bbs1.gitlib.com permanent;
}

比较符说明:

使用=、!= 比较的一个变量和字符串，true/false
使用~、~*与正则表达式匹配的变量，如果这个正则表达式中包含右花括号}或者分号;则必须给整个正则表达式加引号
使用-f、!-f 检查一个文件是否存在
使用-d、!-d 检查一个目录是否存在
使用-e、!-e 检查一个文件、目录、符号链接是否存在
使用-x、!-x 检查一个文件是否可执行

set 设置变量

if ( $host ~* (.*)\.yzz\.cn) {
	set $domain $1;
}
root /www/website/www/gitlib/$domain/;

# set语法:
set variable value;

🪕 Nginx 反向代理

📑 proxy_pass

proxy_pass 将请求传递给 HTTP 服务器
proxy_buffering: on; # 设置是否开启 Proxy Buffer，默认为 on
proxy_pass http://upload.gitlib.com; # 设置被代理服务器的地址
proxyconnecttimeout 600;# 设置 Nginx 服务器与后端被代理服务器尝试建立连接的超时时间，默认为 60s
proxyreadtimeout 600; # 设置 Nginx 服务器向后端被代理服务器发出 read 请求后，等待响应的超时时间，默认为 60s
proxysendtimeout 600; # 设置 Nginx 服务器向后端被代理服务器发出 write 请求后，等待响应的超时时间，默认为 60s
proxybuffersize 8k; # 设置 Nginx 服务器从被代理服务器获取的第一段数据 buffer 大小，一般和 proxy_buffers 设置的 buffer 大小一致，或者更小, 默认为 4k 或者 8k
proxy_buffers 4 32k; # 设置 Proxy Buffer 的个数和每个 Buffer 的大小
proxybusybuffers_size 64k; # 设置处在 Busy 状态的 Buffer 总大小上限，默认为 8K 或者 16K
proxytempfilewritesize 64k; #
proxynextupstream error timeout invalidheader http500 http503 http404; # upstream 设置被代理服务器集群时，设置组内服务器出现哪些异常时，可以依次轮询到下一个组内服务器处理
proxyredirect off; # 修改响应头 Location 值，off 表示直接返回 proxypass 后的值，默认为 default(客户端请求的 URI),

📑 fastcgi_pass

fastcgi_pass 将请求传递给 FastCGI 服务器

📑 uwsgi_pass

uwsgi_pass 将请求传递给uwsgi服务器(如python服务)

📑 scgi_pass

scgi_pass 将请求传递给 SCGI 服务器

📑 memcached_pass

memcached_pass 将请求传递给 memcached 服务器

Nginx 负载均衡

Nginx 通过 proxy_pass 和 upstream 指令实现负载均衡，Nginx 原生支持的负载均衡算法有如下几种:

📑 轮询

每个请求按时间顺序逐一分配到不同的应用服务器，如果应用服务器 down 掉，自动剔除，剩下的继续轮询

📑 权重

通过配置权重，指定轮询几率，权重和访问比率成正比，用于应用服务器性能不均的情况

📑 ip_hash

每个请求按访问 ip 的 hash 结果分配，这样每个访客固定访问一个应用服务器，可以解决 session 共享的问题。

📑 least_conn

最小连接数

示例:

upstream php {
	server 127.0.0.1:9000 max_fails=3 fail_timeout=30s;
	server 192.168.1.16 backup;
	server 192.168.1.17 down;
}

upstream php {
	server 192.168.10.2 weight=1;
	server 192.168.10.3 weight=2;
}

upstream php {
	ip_hash;
	server 192.168.10.16;
	server 192.168.10.17;
}

Nginx 缓存

📑 Proxy Cache

Nginx 通过 proxy_cache 来实现缓存。Buffer 和 Cache 都是用于提供 IO 吞吐小路的，但是概念不同。Buffer(缓冲)主要用于传输效率不同步或者优先级不相同的设备之间传输数据，一般通过对一方数据进行临时存放，再统一发送的办法传递给另一方，以降低进程之间的等待时间，保证速度较快的进程不发生间断，临时存放的数据一旦传送给另一方，这些数据本身也就没有用处了；Cache(缓存)主要用于将硬盘上已有的数据在内存中建立缓存数据，提高数据的访问效率，对于过期不用的缓存可以随时销毁。

Proxy Cache 机制依赖于 Proxy Buffer 机制，只有在 Proxy Buffer 机制开启的情况下 Proxy Cache 的配置才会发挥作用。

📑 相关配置参数说明:

proxycache: zone | off; # 默认为 off，即关闭 proxycache 功能，zone 为用于存放缓存的内存区域名称
proxycachepath: path [levels=levels] keyszone=name:size [inactive=time]maxsize=size];
path 设置缓存数据存放的路径；
levels 设置目录层级，如 levels=1:2，表示有两级子目录,第一个目录名取 md5 值的倒数第一个值，第二个目录名取 md5 值的第 2 和 3 个值。
keyszone 设置内存 zone 的名字和大小，如 keyszone=my_zone:10m
inactive 设置缓存多长时间就失效，当硬盘上的缓存数据在该时间段内没有被访问过，就会失效了，该数据就会被删除，默认为 10s。
max_size 设置硬盘中最多可以缓存多少数据，当到达该数值时，nginx 会删除最少访问的数据

示例

proxy_cache_path /data/nginx_cache/ levels=1:2 keys_zone=my_zone:10m inactive=300s max_size=5g;
location / {
	proxy_cache my_zone;
	proxy_pass http://192.168.10.110:8080/;
	proxy_set_header Host $host;
	proxy_set_header X-Real-IP $remote_addr;
	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

Expires

 location ~ .*\.(jpg|jpeg|gif|png|ico|swf)?$
{
	expires 1d; #设置过期时间
}

Nginx 实现 Gzip 压缩

通过 gzip 相关指令可以配置 Gzip 压缩，对响应数据进行在线实时压缩。

Nginx 常见配置参数

servernameshashmaxsize 1024;
servernameshashbucketsize 512;
clientheaderbuffer_size 32k; # 客户端请求头部的缓冲区大
largeclientheader_buffers 4 32k;
clientmaxbody_size 10m;#设置最大的允许客户端请求主体的大小(上传文件大小限制), 默认为 1m
clientbodybuffer_size 128k;
keepalive_timeout 60; #客户端连接超时时间，单位是秒, 默认是 75 秒
sendfile on; # 开启高效传输模式,默认为 off
tcp_nopush on;
tcp_nodelay on;
ssi on; # 开启 ssi 支持，默认为 false
ssisilenterrors on; # 设置为 on 表示在处理 ssi 文件时不输出错误信息，默认为 false
ssitypes text/html; # 默认支持 html ,如果需要支持 shtml(服务器执行脚本)，需要设置为 ssitypes text/shtml
server_tokens off; # 关闭 nginx 版本号的显示，默认为 on

Nginx 优化相关参数

worker_processes 2; # 配置生成的 worker process 数量，一般为 cpu 核数
workerrlimitnofile 65536; # 一个 nginx 进程打开的最多文件描述符数目，一般设置为与系统设定的值相同(ulimit -n)
workercpuaffinity 01 10;# 为每个进程分配 CPU 的工作内核
use epoll; # 事务模型

events {
 use epoll; # 事务模型
 worker_connections 20000; # 一个nginx进程的连接数，nginx服务器允许的同事连接的客户端最大数量Client = worker_processes * worker_connections/2;
}

Nginx 常见用法

依据 UA 屏蔽爬虫

if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou
spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") {
	return 403;
}

屏蔽 IP 访问

allow 133.27.182.82;
allow 113.106.18.0/24;
allow 121.201.104.0/24;
deny all;

使用 Auth 权限访问

auth_basic "bbs-auth";
auth_basic_user_file /usr/local/nginx/conf/bbsauthpwd;

限制带宽

# 用户下载达到 500k 后，便控制其速度在 50k 以内
location /download/ {
	limit_rate_after 500k;
	limit_rate 50k;
}

限制连接

# 定义了一个名为“down”，10M大小，以连接IP为key的连接数据存储空间
limit_conn_zone $binary_remote_addr zone=down:10m;

# 读取名为`down`连接数据存储空间的数据，限制每个key(上面是以ip作为IP) 最大同时连接数为4
location ~ .*\.(rar|zip|apk)?$ {
	limit_conn down 4;
	limit_rate 150k;
}

limit_conn_log_level notice: 指定当触发limit的时候日志打印级别

限制请求

# 定义一个名为”one”, 10M大小，每秒1个请求的请求数据存储空间
limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s;

# 引用名为“one”的存储空间，burst为等待请求数量数，当等待请求数量超过50个时，则抛出503错误,nodelay 针对的是 burst 参数，burst=50 nodelay 表示这50个请求立马处理，不能延迟，相当于特事特办。不过，即使这20个突发请求立马处理结束，后续来了请求也不会立马处理。burst=50 相当于缓存队列中占了50个坑，即使请求被处理了，这20个位置这只能按 100ms一个来释放
limit_req zone=one burst=50 nodelay;
limit_req_log_level notice: 指定当触发limit的时候日志打印级别

📑 实时显示 Nginx 运行状况

在安装 nginx 是编译 httpstubstatusmodule 即可，使用参数为–with-httpstubstatusmodule

location /ngx_status {
	stub_status on;
	access_log on;
}

设置错误页面

error_page 404 /404.html

HTTP Status

// copy from ant-design-pro
const codeMessage = {
	200: "服务器成功返回请求的数据。",
	201: "新建或修改数据成功。",
	202: "一个请求已经进入后台排队（异步任务）。",
	204: "删除数据成功。",
	301: "永久重定向",
	302: "临时重定向",
	307: "",
	400: "发出的请求有错误，服务器没有进行新建或修改数据的操作。",
	401: "用户没有权限（令牌、用户名、密码错误）。",
	403: "用户得到授权，但是访问是被禁止的。",
	404: "发出的请求针对的是不存在的记录，服务器没有进行操作。",
	406: "请求的格式不可得。",
	410: "请求的资源被永久删除，且不会再得到的。",
	413: "文件上传超过限制",
	422: "当创建一个对象时，发生一个验证错误。",
	500: "服务器发生错误，请检查服务器。",
	502: "网关错误。",
	503: "服务不可用，服务器暂时过载或维护。",
	504: "网关超时。",
};