Façade van de Herenpoort, anoniem, 1621
Lange tijd is deze poort onderdeel geweest van de stadswallen en vestingwerken van de stad Groningen. In de 19de eeuw werden deze grotendeels ontmanteld. De façade van de poort werd in 1878 door de architect van het Rijksmuseum, Pierre Cuypers, naar Amsterdam gehaald om in de museumtuin te worden opgebouwd. Dit gebeurde in combinatie met de gevel van de Bergpoort uit Deventer (andere zijde van de huidige poort).