Op de plaats waar de huidige ruïne staat werd al in het begin van de 12de eeuw een kasteel gebouwd dat enkele jaren later weer werd verwoest. Enkele jaren later herhaalde deze cyclus zich weer en aan het eind van de 12de eeuw werd de eerst hand gelegd aan huidige kasteel. Door de eeuwen heen werd het kasteel een aantal keer verbouwd en uitgebreid. Tijdens de tachtigjarige oorlog werd het kasteel veroverd door de Fransen. Toen Willem III van Oranje het kasteel terug veroverd had gaf hij de opdracht om het op te blazen omdat hij bang was dat het terug in Franse handen zou vallen. Hierna is het kasteel nooit meer herbouwd. Het kasteel van Valkenburg was tot zijn verwoesting één van weinige Hoogteburchten van Nederland. De ruïnes van het Kasteel zijn tegenwoordig tegen een kleine vergoeding te bezoeken dit gaat meestal gepaard met een bezoek aan de Fluweelengrot. Op enkele feestdagen na is het kasteel het gehele jaar te bezichtigen van 10:00 tot 17:00.
