Biblioteca se escribe con mayúscula cuando forma parte del nombre propio.
La expresión biblioteca municipal solo lleva iniciales mayúsculas cuando forme parte de un nombre propio: «Se ha inaugurado la Biblioteca Municipal Cardenal Cisneros». Sin embargo, se escribe con minúscula cuando no aparece el nombre completo: «Hoy he ido a estudiar a la biblioteca municipal».
Biblioteca Nacional también es el nombre propio de la institución por lo que ambas palabras se escriben con inicial mayúscula.