As Casas Pintadas devem o seu nome às pinturas que decoram a galeria e anexos integrados no jardim do Centro de Arte e Cultura. Este espaço pertencia a D. Francisco da Silveira, mestre da coudelaria real dos Reis D. Manuel I e D. João III. O brasão da família ainda pode ser visto nas pedras angulares das abóbadas. Este facto desmente a lenda de que o dono da casa fosse o famoso português navegador Vasco da Gama, cujas casas se situavam no lado sul da mesmo rua. No final do século XVI, as Casas Pintadas foram anexadas ao Palácio da Inquisição, como casa dos juízes do Tribunal da Inquisição.