Construída em 1325, a Casa do Infante é assim designada por aí ter presumidamente nascido Henrique, o Navegador.

O edifício, dos mais antigos da cidade, terá sido também o maior em dimensão, sobretudo pelas duas torres mandadas construir no século XIV, há muito desaparecidas. O monumento nacional foi servindo diferentes propósitos ao longo dos tempos, como residência para visitas oficiais da casa real, a antiga Alfândega da cidade e Casa da Moeda que aí tiveram os seus serviços instalados durante vários séculos.