El palacio de Gaviria pasó de ser residencia particular del marqués a albergar en el siglo XX un centro comercial con tiendas de decomisos. De todo el conjunto de la calle Arenal, se conservan la entrada, la escalera, el patio, los salones del piso principal, el antiguo tocador de señoras y las pinturas de los techos, obra de Joaquín Espalter y Rull.
