It скорее всего, ваш бэкэнд только один раз возвращает 403, но тогда Varnish кэширует его для будущих запросов. Да, Varnish будет кэшировать даже те вещи, которые вы не хотите кэшировать, например, страницы ошибок, если вы не настроите VCL для других действий.
Я не могу сказать, ограничивает ли ваш сервер скорость или нет , но вам, вероятно, следует сначала попытаться выяснить это, прежде чем начинать возиться с заголовками Varnish, чтобы предоставить решение проблемы, которую вы еще не выяснили.
Однако, чтобы ответить на ваш вопрос, вы можете установить x-forwarded -для заголовка в Varnish вот так:
в vlc_recv
req.http.x-forwarded-for = client.ip