Можно, вероятно, установить его, но я рекомендовал бы против использования так мало. Если, конечно, у Вас нет большого количества содержания и/или очень немногих представлений. У меня нет твердых чисел для Вас, но Вам, вероятно, придется обратиться к тестированию производительности для определения потребностей.
Сколько одновременных подключений открыто на этой единственной машине? Вы увеличили лимит файловых дескрипторов в limits.conf для пользователя, запускающего memcached?
Возможно, вы достигли ограничения файловых дескрипторов, что приведет к разрыву новых TCP-соединений. И в зависимости от вашего клиента кэша памяти это может привести к воспринимаемому более медленному времени отклика.