блокирование пакетов, больше затем определенный размер с pf

AFAIC, pf не может сделать этого. Можно использовать ipfw iplen опция:

 iplen len-list
         Matches IP packets whose total length, including header and data,
         is in the set len-list, which is either a single value or a list
         of values or ranges specified in the same way as ports.