Я знаю, что могу измениться bin/setenv.sh, но действительно ли возможно применить новые настройки, не перезапуская Tomcat? Конкретно я могу расширить максимальный размер "кучи" (Xmx) так или иначе?
№. Вы не можете увеличить Xmx на лету. Что вы можете сделать, так это увеличить значение Xmx в файле конфигурации и запустить другой экземпляр tomcat, если ваше приложение не возражает против этого.