Quando em 29 de março de 1809, o exército francês, sob o comando do Marechal Soult, invadiu pela segunda vez o país e chegou ao Porto, deu-se a tragédia da Ponte das Barcas, em que milhares de portuenses ficaram sepultados nas águas do Douro. O Padre José de Oliveira, para recolher as crianças que nela perderam os pais, fundou oficialmente a 6 de janeiro de 1814, o Seminário dos Meninos Desamparados. Ao longo dos anos, com o crescimento da obra, esta instalou-se em diversos espaços até ao atual espaço doado pelo benfeitor Luís António Gonçalves de Lima, onde se fixou em 30 de abril de 1863 – Casa e Quinta do Pinheiro de Campanhã.