Las normas sobre el uso de las mayúsculas varían de unos autores a otros y comparando varios diccionarios vemos cómo unos tienen un criterio y otros, otro. Por ejemplo, el DRAE escribe Administración Pública (ambas con mayúscula) pero Administración central o autonómica.
El diccionario VOX escribe también Administración Pública y aclara que cuando se diga solamente Administración, también se respete esa mayúscula.
Sin embargo, en otros manuales de ortografía y gramáticas se recomienda que los nombres y adjetivos que formen parte de la denominación oficial de organismos, instituciones, corporaciones, empresas, entidades, tribunales, partidos políticos, etc. deben ir ambos en mayúscula. Igualmente irá en mayúscula cuando se escriban de manera incompleta pero que ya han sido mencionados antes: Administración (conjunto de organismos y personas que se dedican a la administración o al gobierno de los asuntos de un estado) frente a administración (sustantivo).
Siguiendo estas normas queda claro que deberíamos hablar de Administración Local, Central o Autonómica, igual que escribimos Administración Pública y que aunque se suprima la palabra Pública, se mantengan las mayúsculas: Administración Local, por ejemplo.
Administración Pública ya tiene un significado plural puesto que se refiere al conjunto de organismos de gobierno pero cuando se refiere al Ministerio (en España p. ej.) se utiliza la forma plural: Ministerio de las Administraciones Públicas, ambas con mayúscula.
Cuando se hable de «algunas administraciones públicas» sí debe ir en singular y en minúscula, ya que pierde su carácter de nombre propio y se sustantiva.