Kasematy byly vybudovány po obou stranách Cihelné brány francouzskými vojáky v r. 1742. Po jejich obsazení pruskou a rakouskou armádou byly ještě zdokonaleny. Úzké podzemní zděné chodby se střílnami pro vojáky s lehkými zbraněmi jsou asi 2 m vysoké, šířka chodeb je asi 1,5 m. Kasematy jsou dnes veřejnosti zpřístupněny v délce asi 1 kilometru, ač jsou mnohem rozlehlejší. Pravá část chodeb ústí do podzemního sálu zvaného Gorlice, který měl sloužit jako shromaždiště vojáků, sklad potravin a munice. Tento prostor byl postaven jako součást 33. bastionu barokních hradeb a je největším sálovým prostorem vyšehradských kasemat o ploše cca 330 m2 o výšce 13 m, sál má kapacitu asi 100 lidí.
Značné rozměry sálu a stabilní klimatické podmínky byly využity k uložení některých originálů soch a sousoší z Karlova mostu:
- sv. Anna Samotřetí (Matěj Václav Jäckel, 1707)
- sv. Augustin (Jeroným Kohl, 1708)
- sv. Mikuláš Tolentinský (Jeroným Kohl, 1708)
- Madona se sv. Bernardem (Matěj Václav Jäckel, 1709)
- sv. Vojtěch (ferdinand Maxmilián Brokoff, 1709)
- sv. Ludmila s malým Václavem (Matyáš Bernard Braun, 1720)