Это довольно тривиально, на самом деле, даже с промежуточным прокси. Например, этот инструмент дает Вам довольно хорошую идею:
Нет никакого встроенного механизма ни в какой версии Windows Server, чтобы сделать то, что Вы описываете. Функциональность квоты только имеет дело с общим размером файлов, принадлежавших данному пользователю, не с размерами indvidual файлов. "Экранная функциональность" файла в Менеджере ресурсов Файлового сервера Windows Server 2003 R2 только интересуется расширениями файла, не размерами.
Это взяло бы рычаг довольно низкого уровня в стопку драйвера файловой системы для реализации то, что Вы ищете. Я действительно сомневаюсь, что Вы собираетесь найти, что стандартная утилита делает то, что Вы ищете.
Вы могли всегда запускать скрипт, который ищет файлы свыше того размера и удаляет их, но это не собирается мешать пользователям сохранить файлы там (и потенциально думать, что файлы являются живыми и здоровыми).
Это не могло бы быть полезно всегда, но сервер самбы Unix мог, вероятно, поддерживать somethig как этот через рычаги vfs.
Если у Вас есть опция переместить долю в маленькое bsd/linux поле (или помещать тот "впереди" исходного сервера) это могло бы стоить исследовать.