Een historisch onderdeel van de Kruidtuin is het poortgebouw van de voormalige Commanderij Pitzemburg. Dit poortgebouw stamt uit het jaar 1664 en is in barokstijl uitgevoerd. Tegenwoordig markeert het de entree van de Kruidtuin. Het poortgebouw is een beschermd monument. In 1988 is het poortgebouw gerestaureerd en in 2014 heeft er een tweede grote onderhoudsactie plaatsgevonden.
