Как выполнить исполняемый файл Linux/Windows Server от браузера?

Ответ, "он зависит". Если Ваш исполняемый файл будет в веб-корне и будет настроен для выполнения как CGI и установит корректные полномочия, то да, он будет работать.

Если у Вас просто есть некоторый случайный файл, расположенный в Вашем интернет-пространстве, возможности - это, просто запросит загрузку. Ваш веб-сервер будет рассматривать его, поскольку это было бы любой другой блоб данных по диску.

Строго говоря, что Вы пытаетесь выполнить? Возможно, ответ может быть сужен немного в зависимости от того, что Вы на самом деле хотите сделать.

Нет, это будет просто служить файлу для Вас для загрузки.

Необходимо использовать оболочку для выполнения файла или некоторых серверных сценариев. Например, в Perl/PHP:

./thebinaryfileyouwanttoexecute;

достаточно.