A finales del siglo XIX el industrial Víctor Chávarri decidió construir su residencia familiar siguiendo la tendencia de los palacios de la burguesía bilbaína. Debido a su relación profesional con Bélgica, encargó el proyecto al arquitecto Paul Hankar, aunque también participó en la dirección de obra y su ampliación el arquitecto bilbaíno Atanasio de Anduiza. Por ello, el edificio recuerda al estilo flamenco inspirado en el hotel Regers-Zegnard.

El edificio tiene planta baja y tres alturas, y una última planta rematada en mansarda. La composición asimétrica de las fachadas,combinando piedras de diferentes colores, con todas sus ventanas diferentes le dan una imagen que no deja indiferente.

Ha tenido sucesivas intervenciones a cargo de Mario Camiña y Daniel Escondrillas, incluyendo la construcción de un nuevo edificio en la parte posterior del solar.

El arquitecto Eugenio María Aguinaga proyectó una reforma muy completa entre los años 1943 y 1947 que permitió transformar las dos viviendas iniciales de los hermanos Chávarri en la entonces Sede del Gobierno Civil, y hoy sede de la Subdelegación del Gobierno en Bizkaia. La intervención estuvo centrada en los interiores, recuperando todas las piezas de mármol blanco y rojo de Ereño de los suelos. Se proyectó una nueva escalera posterior, se acondicionó la planta primera como zona representativa, la planta segunda para viviendas del gobernador y la tercera para vivienda del secretario.

El edificio, catalogado Bien de Interés Cultural con la categoría de monumento, sorprende por la cuidada decoración interior en suelos, paredes y techos pintados, puertas y empanelados de madera, sus chimeneas de mármol y curiosidades como un ascensor con la cabina de madera.