wget bind ip 失败

发表于： 2018年1月1日 2018年1月3日
分类：运维开发
标签： bind, wget

版权声明 本站原创文章 由 萌叔 发表
转载请注明 萌叔 | https://vearne.cc

起因：

我们的程序需要从文件服务器拉去文件（跨机房),
程序运行的机器有电信、联通、移动3线，3个IP 假定为
01_DX_IP, 01_LT_IP, 01_YD_IP
文件服务器也是电信、联通、移动3线，3个IP
02_DX_IP, 02_LT_IP, 02_YD_IP
其域名为myfile.com

使用wget拉去文件，为了保证出口带宽用的尽量上，绑定出口IP

wget  --bind-address=01_YD_IP  -t 3 -T 120  --limit-rate=3M -S -O 1407856770354_858932.mp4 http://myfile.com/data10/sony/303/2014-08/12/1407856770354_858932.mp4

按照预先的想法，绑定了移动IP，正常DNS服务器会返回一个文件服务器的移动IP，速度应该不会太慢，事情情况下，下载速度不到100k

1. 排查：

1.1 观察文件下载连接

观察wget打印的日志，显示实际建立连接访问的是联通的IP

Resolving myfile.com... 02_LT_IP,  ...
Connecting to myfile.com|02_LT_IP|:80... connected.
HTTP request sent, awaiting response... ^C

使用lsof观察进程的连接情况

[xxx@c3n~]$ sudo lsof -p  133396
COMMAND    PID USER   FD   TYPE     DEVICE    SIZE/OFF        NODE NAME
wget    133396 root  cwd    DIR        8,2        4096      
59640871425 /datapool/log/inject/xxx.log
wget    133396 root    6w   REG       0,17   164815000 59756490241 /datapool/injectBase/1408203875738_777462.mp4
wget    133396 root    7u  IPv4 1479434406         0t0         TCP 01_YD_IP:29657->02_LT_IP:http (ESTABLISHED)

注意这一行 TCP 01_YD_IP:29657->02_LT_IP:http (ESTABLISHED)
本地的bind address确实已经生效，已经绑定了移动IP, 但是文件服务器的IP地址却是联通IP, 那只能是DNS解析有问题了

1.2 追踪DNS解析

wget 增加 -d 参数, 可以查看wget的细节

Setting --bind-address (bindaddress) to 01_YD_IP
Setting --tries (tries) to 3
Setting --timeout (timeout) to 120
Setting --limit-rate (limitrate) to 3M
Setting --server-response (serverresponse) to 1
Setting --output-document (outputdocument) to 1407856770354_858932.mp4
DEBUG output created by Wget 1.12 on linux-gnu.

--2017-07-11 11:08:37--  http://myfile.com/data10/sony/303/2014-08/12/1407856770354_858932.mp4
Resolving myfile.com... 02_LT_IP, ...
Caching myfile.com => 02_LT_IP
Connecting to myfile.com|02_LT_IP|:80... Releasing 0x0000000002618870 (new refcount 0).
Deleting unused 0x0000000002618870.
connected.
Created socket 4.
Releasing 0x0000000002618580 (new refcount 1).

---request begin---
GET /data10/sony/303/2014-08/12/1407856770354_858932.mp4 HTTP/1.0
User-Agent: Wget/1.12 (linux-gnu)
Accept: */*
Host: xxxxx
Connection: Keep-Alive

---request end---
HTTP request sent, awaiting response... ^C

可以看出wget 先进行DNS解析，然后实际与文件服务器建立连接，下载文件

对53端口，观察程序与DNS服务器的通讯

[xxx@c3n]# tcpdump port 53 -i p3p1
11:14:34.187939 IP 01_LT_IP.22683 > pdns.dnspod.cn.domain: 47926+ A? myfile.com. (50)
11:14:34.217628 IP pdns.dnspod.cn.domain > 01_LT_IP.22683: 38811 5/0/0 A 02_LT_IP (130)

这里可以看到请求DNS服务的出口IP是一个联通IP01_LT_IP，怪不得DNS服务器解析myfile.com -> 02_LT_IP

1.3 小结

到此问题，很清楚wget下载文件有2个步骤
1. 请求DNS服务器获取文件服务器IP地址
2. 与文件服务器连接，下载文件
在步骤1中，并没有bind IP，导致DNS解析的线路错误。而不同运营商直接的交汇的出口比较窄，所以下载速度就上不去了

2. 解决

这明显是wget工具的问题，尝试查看资料，看看新版的wget有没有解决这个问题
自v1.18 以后新增2个参数，此参数用于绑定请求DNS服务器时的出口IP

‘--bind-dns-address=ADDRESS’
[libcares only] This address overrides the route for DNS requests. If you ever need to circumvent the standard settings from /etc/resolv.conf, this option together with ‘--dns-servers’ is your friend. ADDRESS must be specified either as IPv4 or IPv6 address. Wget needs to be built with libcares for this option to be available.

需要自己重新编译wget，编译时，需要libcares

./configure --with-cares

vearne@ut

260

起因：