Вопросы Теги

Varnish сбрасывает все настройки, кроме последнего x-forwarded-for IP-адреса… ошибка?

При попытке выяснить, почему наша установка Varnish 4.1 (на CentOS7 через varnish-cache.org repo) не соответствовал правилам vcl, установленным для регистрации IP-адреса клиента в заголовке X-Forwarded-For (см .: Varnish 4 logging proxy / load balancer вместо клиентских IP-адресов ) Я заметил кое-что странное при просмотре файлов varnishlog: 

- Begin        req 9353447 rxreq
- Timestamp    Start: 1488771709.337974 0.000000 0.000000
- Timestamp    Req: 1488771709.337974 0.000000 0.000000
- ReqStart     172.25.20.65 19903
- ReqMethod    GET
- ReqURL       /about-us/
- ReqProtocol  HTTP/1.1
- ReqHeader    host: www.<notreallythishost>.com
- ReqHeader    Accept: */*
- ReqHeader    Accept-Encoding: gzip, deflate
- ReqHeader    Cache-Control: no-cache
- ReqHeader    From: bingbot(at)microsoft.com
- ReqHeader    Pragma: no-cache
- ReqHeader    User-Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
- ReqHeader    X-Forwarded-For: 40.77.167.41
- ReqHeader    X-Forwarded-Port: 80
- ReqHeader    X-Forwarded-Proto: http
- ReqHeader    Connection: keep-alive
- ReqUnset     X-Forwarded-For: 40.77.167.41
- ReqHeader    X-Forwarded-For: 40.77.167.41, 172.25.20.65
- VCL_call     RECV
- ReqUnset     X-Forwarded-For: 40.77.167.41, 172.25.20.65
- ReqHeader    X-Forwarded-For: 172.25.20.65
- ReqUnset     Accept-Encoding: gzip, deflate
- ReqHeader    Accept-Encoding: gzip
- ReqUnset     User-Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
- VCL_return   hash
- VCL_call     HASH
- VCL_return   lookup
- VCL_call     MISS
- VCL_return   fetch
- Link         bereq 9353449 fetch
- Timestamp    Fetch: 1488771709.338395 0.000421 0.000421
- RespProtocol HTTP/1.1

Это полностью объясняет, почему мы так и не смогли получить ничего, кроме балансировщика нагрузки IP-адрес регистрируется через varnishncsa в любой момент, независимо от используемого нами метода ведения журнала.

Похоже, что при обработке запроса он создает заголовок X-Forwarded-For, добавляя IP-адрес AWS Load Balancer в заголовок, но поскольку вызывается vc_call, он снова отключает его и удаляет исходный IP-адрес клиента. Итак, как мне сохранить целостность X-Forwarded-For и почему Varnish смещает IP-адреса с левой стороны, а не просто добавляет их в заголовок X-Forwarded-For, как следует? Ошибка?

2
задан 23 May 2017 в 15:41
1 ответ

Итак, обходной путь для этого (возможная ошибка в 4.1.3-1.el7.x86_64) был подсказкой, которую я нашел при просмотре других вопросов журнала регистрации лаков, в частности, по поводу отключения заголовка x-forwarded-for вообще .

Хотя это не то, что я хотел сделать, это дало подсказку о том, что лак не должен добавлять своё собственное содержимое vcl_recv в нижнюю часть определения моей функции vcl_recv. В частности, вы можете предоставить свой собственный return (lookup) (хотя это лак <= 3) или return (hash) (лак 4.x).

Итак, теперь у меня есть это в верхней части vcl_recv():

# ensure proper logging of x-forwarded-for IP addresses
std.collect(req.http.x-forwarded-for);
set req.http.x-forwarded-for = regsub ( req.http.x-forwarded-for, "^(([0-9]{1,3}\.){3}[0-9]{1,3})(.*)", "\1" );
if (req.http.x-forwarded-for) {
    std.log("ip:" + req.http.x-forwarded-for);
} else {
    std.log("ip:" + client.ip);
}

Затем в самом конце функции, конечно, как я уже упоминал a:

return (hash);

Итак, теперь успешно регистрируется только IP адрес клиента, как и должно быть, с добавлением опции varnishncsa:

-F "%%{VCL_Log:ip}x %%l %%u %%t \"%%r\" %%s %%b \"%%{Referer}i\" \"%%{User-agent}i\""

Надеюсь, кто-нибудь другой найдет эту информацию полезной.

UPDATE: Как и заметка, я нашел это сообщение о подмене в ответе nginx, и было бы неплохо иметь что-то вроде real_ip_from или trusted_ip_from заголовков в лаке, но на данный момент это не выглядит как родной. Мое первоначальное решение в этом случае выберет поддельный адрес. Так что лучше удалить регекс с известными IP и вместо этого подобрать первый необработанный IP клиента. Что-то вроде этого сработает:

set req.http.x-forwarded-for = regsub ( req.http.x-forwarded-for, "(([0-9]{1,3}\.){3}[0-9]{1,3})(, (172.25.20.65|172.25.10.228),?)+$", "\1" );

где 172.25.20.65 и 172.25.10.228 - это мои доверенные IP адреса (прокси или балансировщики нагрузки взяли и добавили в X-Forwarded-For и т.д.). В зависимости от того, ожидаете ли вы увидеть прокси/LB перед ним, ваш регекс может быть либо таким, если вы ожидаете, что в вашем заголовке всегда будет как минимум один балансировщик нагрузки/прокси:

(([0-9]{1,3}\.){3}[0-9]{1,3})(, (<trustedip1>|<trustedip2>|...),?)+$

или таким, если разрешено ничего не иметь перед лакировочным сервером:

(([0-9]{1,3}\.){3}[0-9]{1,3})(, (<trustedip1>|<trustedip2>|...),?)*$

Хотя если это так, то почему вы смотрите на заголовок x-forwarded-for...

.
3
ответ дан 3 December 2019 в 10:35

Теги

Похожие вопросы