Можно ли установить почтовый сервер dovecot + postfix без сертификата ssl?

Да, но это абсолютно не рекомендуется. В этом случае ваши пароли будут открыты через соединение с открытым текстом для аутентификации SMTP и IMAP. Это крайне плохая идея (ИМХО граничит с преступной халатностью).

Однако вам повезло, поскольку сертификаты Let's Encrypt можно использовать бесплатно, и нет абсолютно никаких причин не использовать их. Более того, если вы все равно найдете причину не использовать их, вы можете даже использовать самозаверяющие сертификаты, но вам придется вручную настроить своих клиентов, чтобы они доверяли им. Это может работать для небольших сред, и это то, что я делал для своих личных вещей до того, как Let's Encrypt стал доступен.