Можно использовать NETDOM
NETDOM RENAMECOMPUTER %COMPUTERNAME %/NewName: % % NEWNAME
См. эту статью
В итоге я использовал iptables напрямую вместо ufw. Похоже, что ufw по умолчанию создает комплексную схему, которая мне не нужна в моем случае.
sudo iptables -A INPUT -j DROP -p tcp --destination-port 5223 -i eth1