透传IP
为何要做透传IP
在使用了CDN
做加速站点静态资源加速后,当用户请求的静态资源没能命中,此时CDN
会到源站请求内容,那么此时访问源站的IP
为CDN
节点的IP
,不仅如此,可能经我们的WAF
防火墙和前端的负载均衡(SLB
)后更不容易获取到真实的用户IP
信息,我们如果要统计用户的访问IP
和地区就变得比较麻烦,因为可能不是真实的IP
,必须使用一个什么机制将用户IP
传递到最终后端的应用服务器才行。
实验环境
访问流程
主机 | IP配置 | 备注 |
---|---|---|
Chrome |
10.0.0.1 |
Windows 浏览器 |
LB-01 |
10.0.0.5 |
一级代理 |
LB-02 |
10.0.0.6 |
二级代理 |
LB-03 |
10.0.0.7 |
三级代理 |
WEB |
10.0.0.8 |
WEB主机 |
常见的几种方式
X-Real-IP
描述
在每个HTTP
请求头中加入X-Real-IP
信息,若只存在1级的代理服务器,则该参数的确就是客户端的真实IP
,但若是存在多级代理时,此信息为上级代理的IP
信息,并不能获取到真实的用户IP
,故此法目前已弃用。
nginx配置
#LB-01一级代理配置
server {
listen 80;
server_name ip.test.com;
location / {
proxy_pass http://10.0.0.6;
proxy_http_version 1.1;
Proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
}
}
#LB-02二级代理配置
server {
listen 80;
server_name ip.test.com;
location / {
proxy_pass http://10.0.0.7;
proxy_http_version 1.1;
Proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
}
}
#LB-03三级代理配置
server {
listen 80;
server_name ip.test.com;
location / {
proxy_pass http://10.0.0.8;
proxy_http_version 1.1;
Proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
}
}
#WEB主机配置
server {
listen 80;
server_name ip.test.com;
root /wwwroot;
index index.php;
location ~ \.php$ {
fastcgi_pass 127.0.0.1:9000;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
}
}
WEB主机测试脚本
#文件名:index.php
#放到测试目录/wwwroot内
<?php
$IP_ADDRESS = getenv("HTTP_X_REAL_IP");
echo "SOURCE IP ADDRESS: $IP_ADDRESS";
?>
注:配置完成后保存所有配置文件,然后启动所有的nginx
服务。如果在windows
下测试一定要在C:\Windows\System32\drivers\etc\hosts
文件内加入本地解析的记录,如下:
10.0.0.5 ip.test.com
Wireshark抓包信息
HTTP报头信息
GET / HTTP/1.1
Host: ip.test.com
X-Real-IP: 10.0.0.6
Connection: close
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
Cookie: UM_distinctid=16afc8d323f94-0360d7ebcc9bae-3d644509-18e414-16afc8d324063f
chrome打开测试
结论:由Wireshark
追踪流和Chrome
的测试可见,X-Real-IP
并不能获取到真实的客户端IP
地址,如果时单级代理情况下,可以获取到正确的客户端IP
,若存在多级代理就歇菜了。
X-Forwarded-For
描述
在每个HTTP
请求头中加入X-Forwarded-For
信息,若只存在1级的代理服务器,则该参数为客户端的真实IP
,若是存在多级代理时,每经过一级代理服务器,则追加上级代理服务的IP
,可以获取到真实的用户IP
,但若是遇到伪造的X-Forwarded-For
信息或第一级代理未启用X-Forwarded-For
都不能获取到真实用户IP
,此法是目前比较常用的方法,但更推荐使用nginx_http_realip_module
模块添加可信代理的方法。
nginx配置
#LB-01一级代理配置
server {
listen 80;
server_name ip.test.com;
location / {
proxy_pass http://10.0.0.6;
proxy_http_version 1.1;
Proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#可以尝试注释此处的,看看最终能否获取到真实客户端IP
}
}
#LB-02二级代理配置
server {
listen 80;
server_name ip.test.com;
location / {
proxy_pass http://10.0.0.7;
proxy_http_version 1.1;
Proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
#LB-03三级代理配置
server {
listen 80;
server_name ip.test.com;
location / {
proxy_pass http://10.0.0.8;
proxy_http_version 1.1;
Proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
#WEB主机配置
server {
listen 80;
server_name ip.test.com;
root /wwwroot;
index index.php;
location ~ \.php$ {
fastcgi_pass 127.0.0.1:9000;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
}
}
WEB主机测试脚本
#文件名:index.php
#放到测试目录/wwwroot内
<?php
$IP_ADDRESS = getenv("HTTP_X_FORWARD_FOR");
echo "SOURCE IP ADDRESS: $IP_ADDRESS";
?>
注:记得重载nginx
配置。
Wireshark抓包信息
HTTP报头信息
GET / HTTP/1.1
Host: ip.test.com
X-Forwarded-For: 10.0.0.1, 10.0.0.5, 10.0.0.6
Connection: close
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
Cookie: UM_distinctid=16afc8d323f94-0360d7ebcc9bae-3d644509-18e414-16afc8d324063f
chrome打开测试
结论:由Wireshark
追踪流和Chrome
的测试可见,X-Forwarded-For
可以获取到真实的客户端IP
地址,即便是在多级代理下,也可以获取到正确的客户端IP
,但如果某台代理未设置X-Forwarded-For
,后端应用服务器可能并不能获取到正确的客户端IP
。
nginx_http_realip_module
描述
通过预定义可信任的代理主机的IP
的方式(可信代理主机默认都会加入X-Forwarded-For
信息),根据些X-Forwarded-For
的信息,从右到左,滤除掉这些可信代理的IP
信息,最终获取到的就是真实客户端IP
信息,此信息替换$remote_addr
这个变量,使最终客户端IP
在WEB
后端应用服务器的access.log
第一列显示,方便取值分析。
nginx配置
#LB-01一级代理配置
server {
listen 80;
server_name ip.test.com;
location / {
proxy_pass http://10.0.0.6;
proxy_http_version 1.1;
Proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#此为可信任的代理服务器,故需要加入这条配置
}
}
#LB-02二级代理配置
server {
listen 80;
server_name ip.test.com;
location / {
proxy_pass http://10.0.0.7;
proxy_http_version 1.1;
Proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#此为可信任的代理服务器,故需要加入这条配置
}
}
#LB-03三级代理配置
server {
listen 80;
server_name ip.test.com;
location / {
proxy_pass http://10.0.0.8;
proxy_http_version 1.1;
Proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#此为可信任的代理服务器,故需要加入这条配置
}
}
#WEB主机配置,使用此模块是在后端WEB应用服务器添加参数
server {
listen 80;
server_name ip.test.com;
#定义可信任的代理服务器地址
set_real_ip_from 10.0.0.5;
set_real_ip_from 10.0.0.6;
set_real_ip_from 10.0.0.7;
#指定从哪个HTTP报头里检索IP信息
real_ip_header X-Forwarded-For;
#递归排除每个代理服务器的IP
real_ip_recursive on;
root /wwwroot;
index index.php;
location ~ \.php$ {
fastcgi_pass 127.0.0.1:9000;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
}
}
WEB主机测试脚本
#文件名:index.php
#放到测试目录/wwwroot内
<?php
$IP_ADDRESS = getenv("HTTP_X_FORWARD_FOR");
echo "SOURCE IP ADDRESS: $IP_ADDRESS";
?>
注:记得重载nginx
配置。
Wireshark抓包信息
HTTP报头信息
GET / HTTP/1.1
Host: ip.test.com
X-Forwarded-For: 10.0.0.1, 10.0.0.5, 10.0.0.6
Connection: close
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
Cookie: UM_distinctid=16afc8d323f94-0360d7ebcc9bae-3d644509-18e414-16afc8d324063f
chrome打开测试
WEB应用服务器的访问LOG
结论:为了解决X-Forwarded-For
可能存在伪装IP
的问题,我们在后端使用了nginx_http_realip_module
模块的set_real_ip_from
关键字来添加可信IP
并从X-Forwarded-For
头中筛选出去,最终成功获取到了客户端IP
,并且也对格式日志做了一定的替换,使客户端IP
显示于access.log
的第一列,方便最终的取值分析,这里需要注意的是,一定要添加正确且绝对可信的代理服务器IP
,否则最终结果还是存在问题。