Похоже, ваша установка Roundcube не поддерживает CRAM-MD5, который является единственным механизм, предлагаемый Postfix. Я бы, вероятно, просто включил механизмы PLAIN и LOGIN и использовал их. У вас, вероятно, есть такая строка в /etc/postfix/main.cf
:
smtpd_sasl_security_options = noanonymous, noplaintext
Измените это на:
smtpd_sasl_security_options = noanonymous