Необходимо рассмотреть XFS. Это поддерживает очень большое количество файлов и в файловой системе и на уровне каталога, и производительность остается относительно согласовывающейся даже с большим количеством записей из-за B + древовидные структуры данных.
Существует страница на их Wiki к большому количеству бумаг и публикаций, которые детализируют дизайн. Я рекомендую, чтобы Вы дали ему попытку и сравнили его с Вашим текущим решением.