Svartholma vankilana Linnoituksen kaikki neljä bastionia ovat olleet samanlaisia. Seinämät olivat 7–9 metriä korkeat, ja jokaisessa bastionissa on ollut 12 holvattua kasemattia. Niihin voitiin muun muassa sijoittaa tykit.
Linnoitusta rakennettaessa ajatus oli, että jokainen bastioni voisi tarvittaessa toimia linnoituksena linnoituksen sisällä. Bastioneissa oli siis ruokaa ja ammuksia, ja vettä saatiin seinämissä olevien pienten reikien kautta. Harmaat rakennelmat ylhäällä johtivat sadevettä pois muureilta. Tarkoitus oli estää muurien rapautuminen. Sisäpihalla sijainnut rakennus kuului insinöörivirastolle.
Svartholma toimi vankilana sekä Ruotsin että Venäjän vallan aikana. Vankeina oli miehiä murhaajista varkaisiin ja irtolaisiin. Irtolaiset olivat henkilöitä, joilla ei ollut työpaikkaa. He joutuivat istumaan vankilassa, kunnes löysivät itselleen työtä. Käytännössä se merkitsi usein pitkiä tuomioita.
Svartholmassa vangit oli sijoitettu muun muassa kasematteihin eivätkä olot olleet mitenkään kehuttavat. Kasematit olivat pimeitä, kylmiä ja kosteita. Vangit nukkuivat oljilla, ja yhdessä kasematissa saattoi olla parikymmentä vankia. Ruokailu oli 1700- ja 1800-luvuilla järjestetty vankiloissa eri tavalla kuin nykyisin. Ruotsin vallan aikana vakiintui järjestelmä, jossa vangeille määrättiin tietyn suuruinen päivittäinen ruokaraha, jolla he saivat hankkia syötävänsä käytännössä usein vanginvartijoiden tai vahtimestarin välityksellä.
Svartholmassa vankien työnteko ei ollut niin raskasta kuin muissa linnakkeissa. Päivittäisiin askareisiin saattoi kuulua ruoan valmistusta, linnoituksen puhtaanapitoa, nuohousta, käymälöiden tyhjennystä, lumenluontia sekä vankihuoneiden puhdistamista ja tuulettamista. Säilyneiden asiakirjojen perusteella vangit, vartijat sekä linnoituksen sotaväki juopottelivat välillä yhdessä ankarastikin.
Vangit saivat tehdä omia puhdetöitä. Svartholmassa vangit valmistivat erilaisia huonekaluja ja niin sanottuja skriinejä eli siroja säilytysrasioita. Usein rasiat oli koristeltu punaiselle tai tummanruskealle pohjalle rukiinoljista tehdyillä koristeilla. Vangit tekivät myös erilaisia olkitöitä ja tehtiinpä linnoituksessa myös omaa seurakuntaa varten urut, jotka sittemmin siirrettiin Ruotsinpyhtään kirkkoon.
Vuonna 1847 Svartholmassa olleet vangit lähetettiin Viaporiin. Svartholmaan tuotiin kuitenkin vielä uusia vankeja ja lopullisesti vankilatoiminta lakkasi vasta 1853, jolloin koko linnoitus Krimin sodan aikana tyhjennettiin. Tuolloin vangit lähetettiin Hämeenlinnaan.
Svartholmassa on ollut myös venäläisiä poliittisia vankeja, seitsemän dekabristia. Heidät oli sijoitettu salaiseen vankilaan pääportin ulkopuolelle. Rakennus oli entinen puinen vartiotupa, jossa oli viisi pientä maalattiaista huonetta. Ilmeisesti olosuhteet eivät olleet juuri paremmat kuin suomalaisilla linnavangeilla. Tämän voi päätellä vankien joukossa olleen runoilija ja tykistöupseeri Gavriil Stepanovitš Batenkovin Svartholmassa toukokuussa 1827 kirjoittamasta runosta, jossa kuvataan vankilan synkkyyden aiheuttamaa epätoivoa ja ikävää. Kerrotaan, että dekabristit saivat myöhemmin valita, jäisivätkö Svartholmaan vai karkotettaisiinko heidät Siperiaan. Suurin osa valitsi Siperian.
