Het bisschoppelijk paleis staat aan het Largo da Sé, tegenover de kathedraal, en is een van de belangrijkste gebouwen van het plein. Het paleis werd in 1585 gebouwd, nadat de bisschopszetel van de Algarve van Silves naar Faro was verplaatst. Het is een typisch voorbeeld van de sobere Portugese bouwstijl uit die tijd, de zogeheten estilo chão: een rechte voorgevel zonder veel versiering.
Het gebouw liep schade op bij de plundering door de Engelsen in 1596 en bij de aardbeving van 1755. De binnenkant is een stuk frivoler dan de buitenkant: de hallen, trappen en zalen zijn bekleed met achttiende-eeuwse tegeltableaus in rococostijl. Het paleis is nog altijd de zetel van het bisdom van de Algarve.
