El origen de esta Biblioteca se remonta a 1894, cuando los herederos de don Fidel de Sagarminaga donan su biblioteca de casi 12.000 volúmenes al presidente de la Diputación de Bizkaia. En un inicio, los fondos se ubicaron en la sede de la Corporación, y se trasladaron al Palacio de la Diputación cuando éste fue construido. Sin embargo, el Palacio se quedó pequeño y finalmente, se decidió encargar un proyecto para la Biblioteca en 1921. El edificio al que se trasladaría, construido a finales del s.XIX, tuvo varios usos antes de convertirse de forma definitiva en Biblioteca, fue sede de la Academia Politécnica de Bilbao y la Academia de San Fernando, el Círculo de Bellas Artes lo ocupó parcialmente… Finalmente, en 1921 se aprobó el proyecto de Juan Carlos Guerra de reforma íntegra del edificio y conversión en Biblioteca, Archivo e Imprenta. La inauguración oficial fue en 1928, y en esa época la parte trasera del edificio la ocupó el Conservatorio de Música.

En 1988, la Biblioteca y el Archivo se separaron, y éste se transladó a la calle María Díaz de Haro. La Biblioteca se vio desbordada por falta de espacio y desfasada por los servicios que ofrecía, y empezó una primera remodelación, ampliación y acondicionamiento de los espacios. Un segundo volumen que acogería la administración y salas técnicas.

Sin embargo, y de nuevo por el crecimiento de los fondos bibliográficos, se saturaron las instalaciones de la Biblioteca. De ahí que en 1999 se convocara un concurso estatal en el que resultaron ganadores los arquitectos Gloria Iriarte, Eduardo Múgica y Agustín de la Brena (IMB Arquitectos). Se construyó así un tercer volumen, acristalado y el más característico, que acoge los archivos de libros que quedan a la vista desde la calle. Además, las fachadas del “contenedor de libros” se retranquean para potenciar el carácter de plaza en el cruce de las calles Arbieto y Diputación, hoy en día peatonales. El acceso principal se hace bajo el depósito de libros a través de un vestíbulo diáfano que también hace las veces de espacio de exposiciones.