Единая точка входа для Интранет использование WordPress OpenID (или OAuth), IIS, Интегрированная аутентификация Windows, Active Directory?

Это - потому что "корневая" директива соответствует, прежде чем "отклонять" директива может быть подобрана. Инвертируйте порядок своих директив, и он должен работать:

...
location /testdir {
  deny all;
  return 404;
}
location ~* ^.+\.(jpg|txt)$ {
  root   /var/www/site;
}
...