Античный мавзолей со временем превратился в крепость, а потом и в папскую резиденцию. По мнению многих исследователей, на протяжении почти десяти столетий здание было также тюрьмой, одной из самых жестоких в мире, так что в 19-м веке за ней закрепилось название «Римская Бастилия».
Во 2-м веке мавзолей Августа в Риме оказался заполнен мощами цезарей до предела, и император Адриан затеял новую усыпальницу, строительство которой завершили после его смерти. Она исправно служила могилой императорам Антонину, Марку Аврелию, Люцию Веру, Коммоду, Каракалле и другим. Но вестготы, захватившие Рим в 410 году, очистили мавзолей от архитектурных излишеств и от императорского праха. Пришлось подыскивать гигантскому цилиндру новую роль.
Учёные считают, что уже тогда в мавзолее могли появиться первые узники. Внушительное строение с отвесными стенами ещё при императоре Аврелиане было включено в систему оборонительных укреплений Рима. Позднее оно и вовсе превратилось в папскую крепость, напрямую соединённую с Ватиканом тайным ходом.
Своим названием — замок Святого Ангела — крепость обязана папе Григорию Великому (он же — Григорий I), которому в 590 году, во время крестного хода, призванного избавить Рим от страшной чумы, привиделся на верхушке башни архангел Михаил, убирающий в ножны свой карающий меч. Тогда же видение стало явью — замок украсила скульптура святого Михаила. В 14-м веке замок обзавёлся зубчатыми стенами, четырьмя бастионами и наполненным водой рвом и окончательно превратился в почти неприступную крепость. За его стенами папа Климент VII спокойно пересидел разграбление Рима войсками императора Карла V.
Сидение за стенами у журчащего Тибра папам понравилось, и уже преемники Климента оборудовали в суровой крепостной башне летнюю резиденцию с чудесными скульптурами и изящными росписями стен и потолков. Барберини, Борджиа, Медичи и Фарнезе — все оставили свой след в Сант-Анджело. Уверяют, что именно здесь Николай V заложил основу Ватиканской библиотеки, Александр Борджиа устраивал дикие оргии, а Павел Фарнезе принимал художников и поэтов.
По старой доброй традиции держать врагов поближе к телу, папы оборудовали в замке свою, папскую, тюрьму, куда помещали не только еретиков и уголовников, обвинённых в кражах и убийствах, драках и разбоях, но часто личных должников или конкурентов в борьбе за трон. Камеры для узников первоначально располагались в бывших помещениях мавзолея — в подземелье и первом этаже замка. В Риме ходили легенды, что множество узников гибло при крупных разливах Тибра. Камеры были крошечными, с железными решётчатыми дверьми и не имели окон. В зависимости от места расположения они получали названия «Ад» или «Чистилище».
Кроме собственно тюрьмы, в замке были помещение суда — зал Правосудия, в котором заседал трибунал инквизиции, и пыточная. Папа Александр Борджиа будто бы обожал самолично истязать заключённых. Во времена инквизиции пытки официально предусматривались кодексом о наказаниях, а перед ними обвиняемый проходил медицинское освидетельствование, которое должно было подтвердить, что он их выдержит.
Тюрьма использовалась и для казней. В разные годы их проводили в одном из внутренних дворов, на крыше-террасе или же на площади перед замком. В Средние века тела казнённых выставляли на ведущем к замку Элиевом мосту, а головы сбрасывали в Тибр. Часто неугодных тем или иным способом умерщвляли прямо в замке.
Управлял папской тюрьмой в первую очередь комендант или вице-кастелян замка, который начиная с 16-го века обычно был братом или племянником папы и отвечал за крепость в целом. По тюремным делам он сотрудничал с губернатором Рима, в особенности с губернатором района Борго, протянувшегося от Ватиканского дворца до замка Святого Ангела.
Кто только не сидел в темнице замка! Случалось, в узников превращались и сами папы. В 928 году в тюрьму был помещён папа Иоанн X, свергнутый с папского престола Гвидо Тосканским и его женой Марозией. Через несколько месяцев он скончался (по другим сведениям, был придушен подушкой), чтобы освободить престол для сына Марозии — папы Иоанна XI. Точно так же в 974 году в тюрьме по приказу антипапы Бонифация VII был задушен свергнутый им Бенедикт VI. Другого своего соперника — папу Иоанна XIV — Бонифаций тоже поместил в подземелье замка, где несчастного уморили голодом.
Если не жалели пап, что говорить о кардиналах. Папа Урбан VI, избранный в 1378, оказался садистом, и, взойдя на престол, стал просто пачками засовывать кардиналов в замок, где как только мог измывался над ними. Великий отравитель и развратник Александр Борджиа тоже использовал папскую тюрьму для сведения личных счётов, отправляя туда неугодных ему кардиналов. Выйти на свет божий им уже не удавалось. Джованни Батиста Орсини он обвинил в попытке отравления и, взяв у семейства огромный выкуп, спокойно отравил самого Орсини. Других замуровывали заживо в подвалах и переходах замка. Археологи, впрочем, пока не обнаружили останков несчастных.
Кроме церковных деятелей, узниками Святого Ангела были философы и литераторы, художники и обыватели. Так, в числе заключённых называют имена философа-гуманиста Платины (Бартоломео Сакки), художника Микеланджело Меризи да Караваджо, историка Джулио Помпонио Лето, испанского богослова Бартоломе де Карранса, несчастной Беатриче Ченчи, обвинённой в убийстве собственного отца, редкого мерзавца.
В 18-м веке в тюрьму с удовольствием сажали сподвижников и родственников священнослужителей, кардиналов и пап, уличённых в стяжательстве и симонии, а в середине 19-го столетия в замок можно было угодить совсем по чепуховым поводам. Например, некоего Луиджи Порци подвергли аресту за женитьбу без благословения.
Многих известных сидельцев Сант-Анджело историки и гиды заселяют и в другие римские тюрьмы — Тор ди Нона или Корте Савелла. Установить точный перечень узников замка непросто: в него нередко переводили преступников на период следствия либо непосредственно перед казнью. Неразберихе содействовало и старинное правило, по которому в период sede vacante (когда в силу близящейся кончины старый папа уже не мог исполнять свои обязанности, а новый ещё не был избран), связанный обычно с беспорядками в городе, арестованных за мелкие нарушения освобождали, а самых опасных преступников из всех городских тюрем либо спешно казнили, либо переводили под защиту надёжных стен папского замка.
Считается, что последними заключёнными в тюрьме замка стали участники революции 1848−1849 годов. Провозглашённая в феврале 1849-го Римская республика пала под напором австрийских, испанских и французских войск под командованием Шарля Удино. Над замком Святого Ангела был поднят французский триколор, руководители восстания Джузеппе Мадзини и Джузеппе Гарибальди эмигрировали, а около двухсот их соратников оказались в темнице. По свидетельствам современников, содержались они в ужасающих условиях и чуть ли не все погибли в застенках от голода и пыток.
В 1871 году, когда Рим был провозглашён столицей объединённого Итальянского королевства, тюрьму в замке окончательно закрыли, а чтобы о ней ничто не напоминало, внутри крепостных стен разместили военный гарнизон. Когда в 1901 году военные покинули замок, они оставили после себя довольно неприглядную картину, правда, тут же инициировали восстановление величественной крепости, на что ушло шесть лет. Наконец, в 1906 году в стенах замка в присутствии короля открылся Военно-исторический музей. В 1925-м он превратился в Национальный музей замка Сант-Анджело. С тех пор реставрации здания ведутся регулярно, а музейные концепции сменяют одна другую. Однако в них не находят своего места несчастные узники, стоны и шёпот которых, как считают римляне, по сию пору раздаются ночами в узких переходах «Римской Бастилии».
Виды замка запечатлели едва ли не все художники, на протяжении столетий приезжавшие в Вечный город, равно как и кинематографисты, выбиравшие его в качестве декорации для своих фильмов. Кроме того, с начала 17-го столетия о замке с удовольствием писали литераторы. Так, бывшую усыпальницу императора Адриана описывал простодушному Санчо Пансе хитроумный идальго Дон Кихот Ламанчский во второй части романа Мигеля де Сервантеса Сааведра, восхищавшегося Римом.
В романе Александра Дюма «Асканио» (1843) описывается побег Челлини из замка Святого Ангела. В 1852 году по роману Дюма драматург Поль Мёрис написал пьесу «Бенвенуто Челлини», а по ней Камиль Сен-Санс в 1890-м — оперу «Асканио».
Тюрьма замка Святого Ангела упоминается в пьесе Викторьена Сарду «Флория Тоска» (1887), по которой создал свою знаменитую оперу Джакомо Пуччини (1899). Именно с террасы замка бросается вниз прекрасная Тоска.
Замок — одно из мест, где разворачивается действие романа Дэна Брауна «Ангелы и демоны» (2000), а также снятого в 2009 году по его мотивам блокбастера с Томом Хэнксом в главной роли.