通过nginx能够有多种方式实现负载均衡的故障转移。今天我们来学习一下！

1.单纯使用proxy_next_upstream

官方说明：

句法：	proxy_next_upstream error | timeout | invalid_header | http_500 | http_502 | http_503 | http_504 | http_403 | http_404 | http_429 | non_idempotent | off ...;

默认：	proxy_next_upstream错误超时；

内容：	http，server，location

指定在哪种情况下将请求传递到下一个服务器：

• error 与服务器建立连接，向服务器传递请求或读取响应头时发生错误；
• timeout 与服务器建立连接，向服务器传递请求或读取响应标头时发生超时；
• invalid_header 服务器返回了空的或无效的响应；
• http_500 服务器返回代码为500的响应；
• http_502 服务器返回响应码为502；
• http_503 服务器返回响应，代码为503；
• http_504 服务器返回代码为504的响应；
• http_403 服务器返回响应，代码为403；
• http_404 服务器返回了代码为404的响应；
• http_429 服务器返回响应，代码为429（1.11.13）；
• non_idempotent 通常，具有请求non_idempotent方法（POST，LOCK，PATCH）不传递到请求是否已被发送到上游服务器的下一个服务器; 明确启用此选项将允许重试此类请求；
• off 禁用将请求传递到下一个服务器。

相关联的参数有两个，将请求传递到下一台服务器可能受到 尝试次数 和时间的限制。

句法：	proxy_next_upstream_timeout time;
默认：	proxy_next_upstream_timeout 0;
内容：	http，server，location
该指令出现在版本1.7.5中。

限制将请求传递到 下一个服务器的时间。该0值将关闭此限制。

句法：	proxy_next_upstream_tries number;
默认：	proxy_next_upstream_tries 0;
内容：	http，server，location
该指令出现在版本1.7.5中。

限制将请求传递到下一个服务器的可能尝试次数 。该0值将关闭此限制。

proxy_next_upstream off

关闭proxy_next_upstream，或者直接删除proxy_next_upstream配置项。

配置：

location /
{
#如果后端的服务器返回502、504、执行超时等错误，自动将请求转发到upstream负载均衡池中的另一台服务器，实现故障转移。
proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
}

简单的话说是，只要检测出后台服务器发出的各种故障代码或者错误参宿，就将会将请求转发到下一个服务器。
这种检测机制和方式是没有问题的，但是在现实使用的过程中，可能会造成一些问题。

1. 每次都是从故障服务器开始，不行再转发到下一服务器。
2. 与服务器的负载均衡的IP_hash，同时使用时会造成无法访问，或者在支付系统可能造成多次支付。
3. 循环检测出错误，增加服务器负担

2.利用nginx自带模块ngx_http_proxy_module和ngx_http_upstream_module对后端节点做健康检查

严格来说，nginx自带是没有针对负载均衡后端节点的健康检查的，但是可以通过默认自带的ngx_http_proxy_module模块和ngx_http_upstream_module模块中的相关指令来完成当后端节点出现故障时，自动切换到健康节点来提供访问。

1.ngx_http_proxy_module模块中的 proxy_connect_timeout指令、proxy_read_timeout指令和proxy_next_upstream指令

A.proxy_next_upstream

具体的语法上面已经写清楚。

B.proxy_connect_timeout time 连接超时

设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。

语法:    proxy_connect_timeout time;
默认值:  proxy_connect_timeout 60s;
上下文:  http, server, location

C.proxy_read_timeout time 响应超时

定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔，而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据，连接将被关闭。

语法:    proxy_read_timeout time;
默认值:  proxy_read_timeout 60s;
上下文:  http, server, location

2.ngx_http_upstream_module模块中的server指令

语法: server address [parameters];
默认值:  ―
上下文:  upstream

范例如下：

   upstream name {
      server 192.168.10.10:8001 max_fails=1 fail_timeout=10s;
      server 192.168.10.20:8002 max_fails=1 fail_timeout=10s;
        }

max_fails=number

设定Nginx与服务器通信的尝试失败的次数。在fail_timeout参数定义的时间段内，如果失败的次数达到此值，Nginx就认为服务器不可用。在下一个fail_timeout时间段，服务器不会再被尝试。

失败的尝试次数默认是1。设为0就会停止统计尝试次数，即不对后端节点进行健康检查。认为服务器是一直可用的。

fail_timeout=time

设定服务器被认为不可用的时间段以及统计失败尝试次数的时间段。在这段时间中，服务器失败次数达到指定的尝试次数，服务器就被认为不可用。

默认情况下，该超时时间是10秒。

在实际应用当中：

• 如果后端应用是能够快速重启的应用，比如nginx的话，自带的模块是可以满足需求的。但是需要注意，如果后端有不健康节点，负载均衡器依然会先把该请求转发给该不健康节点，然后再转发给别的节点，这样就会浪费一次转发。
• 如果当后端应用重启时，重启操作需要很久才能完成的时候就会有可能拖死整个负载均衡器。此时，由于无法准确判断节点健康状态，导致请求handle住，出现假死状态，最终整个负载均衡器上的所有节点都无法正常响应请求。
• 比如公司的业务程序是java开发的，因此后端主要是nginx集群和tomcat集群。由于tomcat重启应部署上面的业务不同，有些业务启动初始化时间过长，就会导致上述现象的发生，因此不是很建议使用该模式。
• 并且ngx_http_upstream_module模块中的server指令中的max_fails参数设置值，也会和ngx_http_proxy_module 模块中的的proxy_next_upstream指令设置起冲突。
• 如果将max_fails设置为0，则代表不对后端服务器进行健康检查，这样还会使fail_timeout参数失效（即不起作用）。
• 此时判断后端服务器情况的唯一依据便是ngx_http_proxy_module模块中的proxy_connect_timeout指令和proxy_read_timeout指令，通过将它们的值调低来发现不健康节点，进而将请求往健康节点转移。
• 如果这两个参数设置得过小，但后端程序的执行或多或少会超过这个时间的话，这种情况nginx的效率是非常低的。

具体实例配置如下：

配置nginx.conf 文件

user  www;
worker_processes  8;
   
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
   
#pid        logs/nginx.pid;
   
events {
    worker_connections  65535;
}
   
http {
    include       mime.types;
    default_type  application/octet-stream;
    charset utf-8;

设置日志格式

    log_format  main  '$remote_addr $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '$http_user_agent $http_x_forwarded_for $request_time $upstream_response_time $upstream_addr $upstream_status';

http设置

    sendfile       on;
    tcp_nopush     on;
    tcp_nodelay    on;
    keepalive_timeout  65;
    proxy_cache_path /var/www/cache levels=1:2 keys_zone=mycache:20m max_size=2048m inactive=60m;
    proxy_temp_path /var/www/cache/tmp;
   
    fastcgi_connect_timeout 3000;
    fastcgi_send_timeout 3000;
    fastcgi_read_timeout 3000;
    fastcgi_buffer_size 256k;
    fastcgi_buffers 8 256k;
    fastcgi_busy_buffers_size 256k;
    fastcgi_temp_file_write_size 256k;
    fastcgi_intercept_errors on;
   
    client_header_timeout 60s;     #指定等待客户端发送一个请求头的超时时间
    client_body_timeout 60s;       #客户端向服务端发送一个完整的 request header 的超时时间。如果客户端在指定时间内没有发送一个完整的 request header，Nginx 返回 HTTP 408（Request Timed Out）。
    client_max_body_size 100m;      #允许客户端请求的最大单个文件字节数
    client_body_buffer_size 256k;   #缓冲区代理缓冲请求的最大字节数，可以理解为先保存到本地再传给用户
   
    gzip  on;               #是否开启gzip
    gzip_min_length  1k;    # 开始压缩的最小长度(再小就不要压缩了,意义不在)
    gzip_buffers 4 16k;     #缓冲(压缩在内存中缓冲几块? 每块多大?)
    gzip_http_version 1.1;  # 开始压缩的http协议版本(可以不设置,目前几乎全是1.1协议)
    gzip_comp_level 6;      #（1-9）推荐6 压缩级别(级别越高,压的越小,越浪费CPU计算资源)
    gzip_types       text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php;   # 对哪些类型的文件用压缩 如txt,xml,html ,css
    gzip_vary on;           # 是否传输gzip压缩标志
   
    ## includes vhosts
    include vhosts/*.conf;
}

修改linux 最大文件限制数 ulimit

[root@zabbx ~]# ulimit -n  #查看系统连接数
[root@zabbx ~]# vi /etc/security/limits.conf  #编辑文件

添加进下面内容

root soft nofile 100001
root hard nofile 100002

如图：

负载均衡及故障转移设置

upstream zabbx {
      ip_hash;                                                  #这是负载均衡的ip_hash负载策略，好处是实现session共享。根据需求决定是否加这个配置。
      server 192.168.10.11:80 max_fails=3 fail_timeout=30s;     #max_fails = 3 为允许失败的次数，默认值为1。 这是对后端节点做健康检查。
      server 192.168.10.12:80 max_fails=3 fail_timeout=30s;     #fail_timeout = 30s 当max_fails次失败后，暂停将请求分发到该后端服务器的时间
      server 192.168.10.13:80 max_fails=3 fail_timeout=30s;
    }
      
server {
     listen       80;
     server_name  www.www.zabbx.cn;
    
      access_log  /usr/local/nginx/logs/www-access.log main;
      error_log  /usr/local/nginx/logs/www-error.log;
    
     location / {
         proxy_pass http://zabbx;
         proxy_redirect off ;
         proxy_set_header Host $host;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header REMOTE-HOST $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_connect_timeout 300;             #跟后端服务器连接超时时间，发起握手等候响应时间
         proxy_send_timeout 300;                #后端服务器回传时间，就是在规定时间内后端服务器必须传完所有数据
         proxy_read_timeout 600;                #连接成功后等待后端服务器的响应时间，已经进入后端的排队之中等候处理
         proxy_buffer_size 256k;                #代理请求缓冲区,会保存用户的头信息以供nginx进行处理
         proxy_buffers 4 256k;                  #同上，告诉nginx保存单个用几个buffer最大用多少空间
         proxy_busy_buffers_size 256k;          #如果系统很忙时候可以申请最大的proxy_buffers
         proxy_temp_file_write_size 256k;       #proxy缓存临时文件的大小
         proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504 http_403 http_404;
         proxy_max_temp_file_size 128m;
         proxy_cache mycache;                   #如果该域名负载的访问请求不需要缓存功能，那就将这以下四行全部注释掉。
         proxy_cache_valid 200 302 1h;
         proxy_cache_valid 301 1d;
         proxy_cache_valid any 1m;
        }
}

需要注意的是：

上面的nginx负载均衡配置中已经开启了cache缓存功能，如果不需要缓存功能，则将上面vhosts目录下的虚拟主机配置中的proxy_cache mycache及其下面三行注释即可！

这里说下曾经碰到过的一个反常情况：
按照上面第一种nginx upstream的健康检查配置后，发现将upstream中的后端两台机器中的一台关闭，访问请求还是会打到这台关闭的后端机器上
查看方法：
直接浏览器里访问，发现访问结果一会儿好，一会儿坏，这是因为请求不仅打到了后端好的机器上，也打到了关闭的机器上了；

原因分析：
这是因为后端两台机器+端口的访问结果被包含在了 proxy_next_upstream中定义的状态码。

解决办法：
将

proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504 http_404;

改成

proxy_next_upstream error timeout invalid_header http_502 http_503 http_504;

重启nginx服务后，在浏览器里输入域名访问，发现访问结果是正常的了！
说明：
该域名的访问请求都打到了后端好着的那台服务器上了，那台关闭的服务器已经从upstream负载中踢出去了。

这个通过查看对应域名的access.log日志能发现：
访问请求会同时到达后端两台机器上，只不过请求到达关闭的那台机器上时就会通过健康检查发现它是坏的，就会将它自动提出，这样在浏览器里的访问结果显示的就
只是正常的那台后端机器处理后的结果了。

查看error.log错误日志，发现里面的信息都是：访问请求upstream到后端关闭的机器上时，全是"connect() failed (111: Connection refused)"，这是正常的，
因为upstream配置里每个几秒就会去健康后端机器，当连接失败时，错误信息就输出到error.log日志里。

3、利用nginx_upstream_check_module模块对后端节点做健康检查

除了上面介绍的nginx自带模块，还有一个更专业的淘宝技术团队开发的nginx模块nginx_upstream_check_module，来专门提供负载均衡器内节点的健康检查的。

用nginx做前端反向代理，如果后端服务器宕掉的话，nginx是不会把这台realserver踢出upstream的，还会把请求转发到后端的这台realserver上面。所以当某台机器出现问题时，会看到nginx的日志会有一段转发失败然后转发正常的日志。借助淘宝技术团队开发的nginx模快nginx_upstream_check_module来检测后方realserver的健康状态，如果后端服务器不可用，则会将其踢出upstream，所有的请求不转发到这台服务器。当期恢复正常时，将其加入upstream。

nginx_upstream_check_module，通过它可以用来检测后端realserver的健康状态。如果后端realserver不可用，则所以的请求就不会转发到该节点上。

在淘宝自己的tengine上是自带了该模块的，大家可以访问淘宝tengine的官网http://tengine.taobao.org来获取该版本的nginx

如果没有使用淘宝的tengine的话，可以通过补丁的方式来添加该模块到我们自己的nginx中。部署流程如下：

比如健康检查配置：

upstream test_web {
    server 192.168.1.21:80;
    server 192.168.1.22:80;
    check interval=3000 rise=2 fall=5 timeout=1000 type=http;
}

上面配置的意思是，对test_web这个负载均衡条目中的所有节点，每个3秒（3000毫秒）检测一次，请求2次正常则标记realserver状态为up，如果检测5次都失败，则标记realserver的状态为down，超时时间为1秒。

nginx_upstream_check_module 模块所支持的指令含义

语法:  check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]
默认: 如果没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp
上下文: upstream

该指令可以打开后端服务器的健康检查功能。指令后面的参数意义是：

interval：向后端发送的健康检查包的间隔。

fall(fall_count): 如果连续失败次数达到fall_count，服务器就被认为是down。

rise(rise_count): 如果连续成功次数达到rise_count，服务器就被认为是up。

timeout: 后端健康请求的超时时间，单位毫秒。

default_down: 设定初始时服务器的状态，如果是true，就说明默认是down的，如果是false，就是up的。默认值是true，也就是一开始服务器认为是不可用，要等健康检查包达到一定成功次数以后才会被认为是健康的。

type：健康检查包的类型，现在支持以下多种类型：

     tcp：简单的tcp连接，如果连接成功，就说明后端正常。

     ssl_hello：发送一个初始的SSL hello包并接受服务器的SSL hello包。

     http：发送HTTP请求，通过后端的回复包的状态来判断后端是否存活。

     mysql: 向mysql服务器连接，通过接收服务器的greeting包来判断后端是否存活。

     ajp：向后端发送AJP协议的Cping包，通过接收Cpong包来判断后端是否存活。

     port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。默认是0，表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。

语法: check_keepalive_requests request_num
默认: 1
上下文: upstream

该指令可以配置一个连接发送的请求数，其默认值为1，表示Tengine完成1次请求后即关闭连接。

语法: check_http_send http_packet
默认: "GET / HTTP/1.0\r\n\r\n"
上下文: upstream

该指令可以配置http健康检查包发送的请求内容。为了减少传输数据量，推荐采用"HEAD"方法。

当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如："HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n"。 同时，在采用"GET"方法的情况下，请求uri的size不宜过大，确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常。

语法: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
默认: http_2xx | http_3xx
上下文: upstream

该指令指定HTTP回复的成功状态，默认认为2XX和3XX的状态是健康的。

语法: check_shm_size size
默认: 1M
上下文: http

所有的后端服务器健康检查状态都存于共享内存中，该指令可以设置共享内存的大小。默认是1M，如果你有1千台以上的服务器并在配置的时候出现了错误，就可能需要扩大该内存的大小。

语法: check_status [html|csv|json]
默认: check_status html
上下文: location

显示服务器的健康状态页面。该指令需要在http块中配置。

在Tengine-1.4.0以后，可以配置显示页面的格式。支持的格式有: html、csv、 json。默认类型是html。
也可以通过请求的参数来指定格式，假设‘/status’是你状态页面的URL， format参数改变页面的格式，比如：

/status?format=html
/status?format=csv
/status?format=json

同时你也可以通过status参数来获取相同服务器状态的列表，比如：

/status?format=html&status=down
/status?format=csv&status=up

下面是一个状态配置的范例：

http {
    upstream cluster1 {
        # simple round-robin
        server 192.168.0.1:80;
        server 192.168.0.2:80;

        check interval=3000 rise=2 fall=5 timeout=1000 type=http;
        check_http_send "HEAD / HTTP/1.0\r\n\r\n";
        check_http_expect_alive http_2xx http_3xx;
    }

    upstream cluster2 {
        # simple round-robin
        server 192.168.0.3:80;
        server 192.168.0.4:80;

        check interval=3000 rise=2 fall=5 timeout=1000 type=http;
        check_keepalive_requests 100;
        check_http_send "HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n";
        check_http_expect_alive http_2xx http_3xx;
    }

    server {
        listen 80;

        location /1 {
            proxy_pass http://cluster1;
        }

        location /2 {
            proxy_pass http://cluster2;
        }

        location /status {
            check_status;

            access_log   off;
            allow SOME.IP.ADD.RESS;
            deny all;
        }
    }
}

具体实例配置如下：

1.下载nginx_upstream_check_module模块，并部署到nginx中。

[root@zabbx]#cd /tmp
[root@zabbx tmp]#wget https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master
[root@zabbx tmp]#unzip master
 
[root@zabbx]#cd nginx-1.14.2
[root@zabbx nginx-1.14.2]#patch -p1 < ../nginx_upstream_check_module-master/check_1.14.0+.patch 
[root@zabbx nginx-1.14.2]#./configure --user=nginx --group=nginx --prefix=/usr/local/nginx --add-module=../nginx_upstream_check_module-master/
[root@zabbx nginx-1.14.2]#make
[root@zabbx nginx-1.14.2]#make install

2.nginx配置

upstream zabbx {
      server 192.168.10.11:80; 
      server 192.168.10.12:80;
      check interval=3000 rise=2 fall=5 timeout=1000 type=http;
      check_keepalive_requests 100;
      check_http_send "HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n";
      check_http_expect_alive http_2xx http_3xx;
    }
        
server {
     listen       80;
     server_name  www.www.zabbx.cn;
      
      access_log  /usr/local/nginx/logs/www-access.log main;
      error_log  /usr/local/nginx/logs/www-error.log;
      
     location / {
         proxy_pass http://zabbx;
         proxy_redirect off ;
         proxy_set_header Host $host;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header REMOTE-HOST $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_connect_timeout 300;         
         proxy_send_timeout 300;           
         proxy_read_timeout 600;             
         proxy_buffer_size 256k;             
         proxy_buffers 4 256k;              
         proxy_busy_buffers_size 256k;       
         proxy_temp_file_write_size 256k;    
         proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;
         proxy_max_temp_file_size 128m;
         proxy_cache mycache;                            
         proxy_cache_valid 200 302 60m;                  
         proxy_cache_valid 404 1m;
        }
         
       location /dpyouling {
         check_status;
         access_log off;
         #allow IP;
         #deny all;
       }
}

配置完毕后，重启nginx。然后访问http://localhost/dpyouling 这个页面就可以看到当前两台realserver实时的健康状态。

温馨提示：在生产环境的实施应用中需要注意下面两点

1. 主要定义好type。由于默认的type是tcp类型，因此假设服务启动，不管是否初始化完毕，它的端口都会起来，所以此时前段负载均衡器为认为该服务已经可用，其实是不可用状态。
2. 注意check_http_send值的设定。由于它的默认值是"GET / HTTP/1.0\r\n\r\n"。假设应用是通过http://ip/name访问的，那么这里check_http_send值就需要更改为 "GET /name HTTP/1.0\r\n\r\n"才可以。
3. 针对采用长连接进行检查的，这里增加 keep-alive请求头，即"HEAD /name HTTP/1.1\r\nConnection: keep-alive\r\n\r\n"。
4. 如果后端的tomcat是基于域名的多虚拟机，此时你需要通过 check_http_send定义host，不然每次访问都是失败，范例：check_http_send "GET /mobileapi HTTP/1.0\r\n HOST www.redhat.sx\r\n\r\n";

Q.E.D.