Nginx常见的几种回源方式实现

阿飞生活探索

简介

为了解决办公网软件版本更新，导致办公网公网带宽紧张。通过Nginx回源文件至本地机房，域名解析采用内外网单独解析，外地办公同事可以通过CDN进行更新，公司办公网同事通过内网DNS解析获取本地资源更新。
如果不是办公网公网带宽紧张，又没有类似SCCM管理工具，是很少用到nginx来解决办公网软件更新的问题，有点偏冷门。作为运维向来是遇到问题横刀策马，果断解决各种疑难杂症。
nginx常见的回源方式nginx proxy_store或proxy_cache模块
nginx中的proxy_store模块和proxy_cache模块是两种不同的回源方式，它们各自有优缺点，适用于不同的场景。以下是对这两种方式的简要说明：

proxy_store模块：

优点：

• 灵活性：proxy_store模块允许你根据需要保存特定的响应内容，你可以选择性地将某些响应存储到指定的路径。
  
• 定制性：可以按照自己的规则和需求来配置存储的位置和文件名，从而实现更高度的定制。
  

缺点：

• 不适合大规模缓存：proxy_store主要用于在本地磁盘上存储响应内容，不适合大规模缓存，因为它可能导致本地磁盘空间迅速耗尽。
  
• 性能：当需要频繁地读取和写入磁盘时，可能对性能产生影响。
  

proxy_cache模块：

优点：
性能：proxy_cache通过使用内存缓存，可以显著提高性能，因为内存的读写速度远远快于磁盘。
自动过期：支持设置缓存的过期时间，避免缓存内容过时。
缓存共享：如果有多个Nginx服务器，proxy_cache模块还支持缓存的共享，可以在多个服务器之间共享缓存。
缺点：
占用内存：由于缓存在内存中，可能导致占用较大的内存空间，尤其在大规模缓存的情况下。
配置复杂性：对于一些特定的配置，可能需要更多的配置工作，相对于proxy_store而言，可能配置较为复杂。
选择建议：
小规模场景：如果你的应用是小规模的，并且对性能要求不是非常高，可以考虑使用proxy_store模块，因为它相对简单，且灵活性较高。
大规模场景：如果你的应用需要高性能和大规模缓存，proxy_cache模块是更好的选择，因为它在内存中管理缓存，提高了读取速度，并且支持更多的高级缓存控制选项。
最终选择取决于你的具体需求和应用场景。

proxy_store方式实现回源

以下是nginx回源配置

1. server {
   
2.         listen       80;
   
3.         server_name  内网访问域名;
   
4.         location / {
   
5.             expires -1;
   
6.             proxy_set_header Accept-Encoding '';
   
7.             root /data/www;
   
8.             proxy_store on;
   
9.             proxy_store_access user:rw group:rw all:rw;
   
10.             proxy_temp_path /data/tmp;
    
11.             if ( !-e $request_filename)  {
    
12.                  proxy_pass 云对象存储地址;
    
13.             }
    
14.         }
    
15.         error_page   500 502 503 504  /50x.html;
    
16.         location = /50x.html {
    
17.             root   html;
    
18.         }
    
19. 
    
20.         location /ngx_stat {
    
21.             stub_status on;
    
22.             access_log off;
    
23.         }
    
24. }

复制代码

为什么使用对象存储地址而不是CDN地址，是由于上传至对象存储的文件还不能及时同步到各个CDN节点，导致CDN上有很多请求报错日志

proxy_cache方式实现回源

以下是nginx回源配置，重点关注proxy_cache配置

1. vim nginx.conf
   
2. #定义nginx运行的用户和用户组
   
3. user  app;
   
4. #启动进程，通常设置成和CPU的数量相等
   
5. worker_processes  auto;
   
6. #改指令是当义工nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数(ulimit -n)
   
7. #与nginx进程数相除，但是nginx分配请求并不是那么均匀，所以最好与ulimit -n的值保持一致
   
8. worker_rlimit_nofile 65535;
   
9. events {
   
10.     #单个后台worker process进程的最大并发连接数(最大连接数=连接数*进程数)
    
11.     worker_connections  16383;
    
12. }
    
13. http {
    
14.     include       mime.types;
    
15.     default_type  application/octet-stream;
    
16.     #访问日志格式,其中X-B3-TraceId参数是链路跟踪参数
    
17.     log_format json '{"@timestamp":"$time_iso8601",'
    
18.                  '"host":"$server_addr",'
    
19.                  '"clientip":"$remote_addr",'
    
20.                  '"size":$body_bytes_sent,'
    
21.                  '"responsetime":$request_time,'
    
22.                  '"upstreamtime":"$upstream_response_time",'
    
23.                  '"upstreamhost":"$upstream_addr",'
    
24.                  '"http_host":"$host",'
    
25.                  '"url":"$uri",'
    
26.                  '"xff":"$http_x_forwarded_for",'
    
27.                  '"referer":"$http_referer",'
    
28.                  '"agent":"$http_user_agent",'
    
29.                  '"X-B3-TraceId":"$http_X_B3_TraceId",'
    
30.                  '"Content-Length":"$http_Content_Length",'
    
31.                  '"appkey":"$http_appkey",'
    
32.                  '"method":"$http_method",'
    
33.                  '"status":"$status",'
    
34.                  '"ups_status":$upstream_status}';
    
35.     #全局访问日志，采用json日志格式
    
36.     access_log  /data/logs/nginx/access.log  json;
    
37.     #全局错误日志
    
38.     #错误日志定义等级,默认error级别,[ debug | info | notice | warn | error | crit ]
    
39.     error_log   /data/logs/nginx/error.log;
    
40.     #sendfile指令制定nginx是否调用sendfile函数(zero copy方式)来输出文件
    
41.     #对于普通应用必须设为on
    
42.     #如果用来进行下载等应用磁盘I/O重负载应用，可设置为off，以平衡磁盘与网络I/O处理速度
    
43.     #降低系统的uptime
    
44.     sendfile        on;
    
45.     #防止网络阻塞
    
46.     tcp_nopush     on;
    
47.     #提高数据的实时响应性
    
48.     tcp_nodelay    on;
    
49.     #隐藏nginx版本号
    
50.     server_tokens off;
    
51.     #keepalive超时时间，客户端到服务器端的连接持续有效时间，当出现对服务器的后端请求时，
    
52.     #keepalive-timeout功能可避免建立或重新建立连接
    
53.     keepalive_timeout  65;
    
54.     #定义读取客户端请求标头的超时。如果客户端在此时间内未传输整个标头，
    
55.     #则请求将以408(请求超时)错误终止
    
56.     client_header_timeout 15;
    
57.     #定义读取客户端请求正文的超时。如果客户端在此时间内未传输任何内容，
    
58.     #则请求会因408(请求超时)错误终止
    
59.     client_body_timeout 15;
    
60.     #后端服务器数据回传时间(代理发送超时)
    
61.     send_timeout 25;
    
62.     client_header_buffer_size 4096K;
    
63.     #允许客户端请求的最大单文件字节数
    
64.     client_max_body_size 10m;
    
65.     proxy_cache_path  /data/nginx/proxy_cache/cache levels=1:2 keys_zone=downloadcache:600m max_size=400g inactive=48h use_temp_path=on;
    
66.     proxy_temp_path    /data/nginx/proxy_cache/temp;  
    
67.     proxy_cache_key    $host$request_uri;
    
68.     #开启gzip压缩
    
69.     #gzip  on;
    
70.     #gzip_min_length 1k;
    
71.     #gzip_buffers 4 16k;
    
72.     #压缩级别大小，最大为9，值越小，压缩后比例越小，CPU处理更快，值越大，消耗CPU比较高
    
73.     #gzip_comp_level 2;
    
74.     #gzip_types text/plain application/javascript text/css application/xml text/javascript application/json;
    
75.     #gzip_vary off;
    
76. 
    
77. include /usr/local/nginx/conf/vhost/*.conf;
    
78. }
    
79. 
    
80. #虚拟主机配置文件
    
81. vim default.conf
    
82. server {
    
83.         listen       443 ssl;
    
84.         server_name  域名;
    
85.         ssl_certificate /usr/local/nginx/conf/ssl/域名.crt;
    
86.         ssl_certificate_key /usr/local/nginx/conf/ssl/域名.key;
    
87.         location / {
    
88.             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    
89.             proxy_set_header X-Real-IP $http_x_forward_for;
    
90.             proxy_set_header X-Forwarded-Host $server_name;
    
91.             proxy_set_header Host $host;
    
92.             proxy_cache          downloadcache;
    
93.             proxy_cache_valid      200 600s;
    
94.             proxy_cache_valid      304 600s;
    
95.             proxy_cache_use_stale    invalid_header http_403 http_404 http_500 http_502;
    
96.             proxy_cache_lock      on;
    
97.             proxy_cache_lock_timeout  5s;
    
98.             proxy_pass https://域名;
    
99.         }
    
100.         error_page   500 502 503 504  /50x.html;
     
101.         location = /50x.html {
     
102.             root   html;
     
103.         }
     
104. 
     
105.         location /ngx_stat {
     
106.             stub_status on;
     
107.             access_log off;
     
108.         }
     
109. }

复制代码

到此这篇关于Nginx常见的几种回源方式实现的文章就介绍到这了,更多相关Nginx 回源内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

来源:https://www.jb51.net/server/316116d39.htm
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！