Как я знаю, что мое соединение TCP безопасно от Брандмауэров/NAT?

Теоретически да, любой маршрутизатор или межсетевой экран может решить разорвать ваше соединение. Это, конечно, очевидно, потому что вы не можете заставить какое-либо оборудование делать именно то, что вы хотите, отправляя правильные TCP-пакеты. Маршрутизатор решает, как с этим бороться.

На практике это именно то, что вы указали. Чтобы предотвратить это, вы должны убедиться, что на линии есть активность. Например, когда у меня есть сеансы SSH, я запускаю в них сеанс tmux с часами, поэтому каждую минуту происходит некоторая активность.

Кроме того, я обычно использую ПК с Linux в качестве маршрутизаторов и брандмауэров, так как они, как правило, имеют достаточно память никогда не убивает любое неактивное соединение. В основном это проблема с оборудованием потребительского уровня.