Это кажется, что этот вопрос о брандмауэринге, а не IPSEC. Если бы Вы только позволяете защищенные соединения IPSEC затем, у Вас просто только был бы SA IPSEC (Ассоциация по безопасности) для выбранного клиента. Это должно было бы не обязательно быть связано с определенным IP и будет хорошим выбором, если Вы не знаете IP, от которого Вы будете получать доступ к серверу. Любой клиент, для которого у Вас нет SA, не сможет получить доступ.
Если Вы знаете свой IP-адрес, более вероятно, что Вы хотите, должен установить или программный брандмауэр на клиент-сервере или аппаратный брандмауэр перед ним, которые только предоставляют доступ от Вашего назначенного IP.
Вы могли также объединить подход так, чтобы Ваш трафик управления был зашифрован в транзите с помощью IPSEC, и сервер защищен, чтобы только принять трафик от хоста брандмауэром. Шифрование IPsec не может быть необходимо, если управление уже использует зашифрованный канал (например, SSH или HTTPS).