Ongeveer tweehonderd jaar na de bouw van Castillo de San Gabriel werd er aan de noordoostkant van Arrecife een tweede fort gebouwd: Castillo de San José. Dit kasteel was een uitbreiding op de verdedigingswerken van de groeiende stad. Hoewel Castillo de San José nog steeds op een strategisch belangrijke positie ligt (vlak bij de belangrijkste haven van het eiland), heeft het de functie van verdedigingsfort allang verloren. Tegenwoordig doet het kasteel dienst als museum. Onderin, aan de waterkant, is een restaurant gevestigd met uitzicht over het water en de haven. Het Museo Internacional de Arte Contemporáneo biedt een kleine maar vrij fraaie collectie van moderne kunst. Het museum is dagelijks van 10 tot 20 uur geopend en beschikt over een eigen (gratis) parkeerplaats.
