Op de plaats waar de huidige ruïne staat werd al in het begin van de 12de eeuw een kasteel gebouwd dat enkele jaren later weer werd verwoest. Enkele jaren later herhaalde deze cyclus zich weer en aan het eind van de 12de eeuw werd de eerste hand gelegd aan het huidige kasteel. Door de eeuwen heen werd het kasteel een aantal keer verbouwd en uitgebreid. In 1672, tijdens de Hollandse Oorlog, werd het kasteel veroverd door de Fransen. Toen Willem III van Oranje het kasteel terugveroverd had gaf hij de opdracht om het op te blazen omdat hij bang was dat het terug in Franse handen zou vallen. Hierna is het kasteel nooit meer herbouwd. Het kasteel van Valkenburg was tot zijn verwoesting een van de weinige hoogteburchten van Nederland. De ruïnes van het kasteel zijn tegenwoordig tegen een kleine vergoeding te bezoeken dit gaat meestal gepaard met een bezoek aan de Fluweelengrot. Op enkele feestdagen na is het kasteel vrijwel het hele jaar te bezichtigen; de actuele openingstijden vind je op de website van Kasteel Valkenburg.
