Linnoitustyöt Svartholmassa aloitettiin helmikuun 12. päivänä 1748 ja niitä jatkettiin ripeään tahtiin noin 10 vuoden ajan, vaikka välillä olikin pulaa rahasta ja rakennusmateriaalista. Kivet saatiin täältä Svartholmasta, mutta tiiliä rahdattiin lähiseudun tiiliruukeilta. Kalkkia tuotiin jopa Gotlannista asti. Rakennuskiveä lohkottiin käsin poraamalla ja huolellisesti halkomalla ilman räjähdysaineita, jotka olisivat rikkoneet kivet käyttökelvottomiksi.
Rakentajina käytettiin pääasiassa sotilaita ja vankeja, jotka olivat halpaa työvoimaa, mutta ammattitaitoisia käsityöläisiä tarvittiin myös jonkin verran. Työaika oli 6 päivää viikossa ja 12 tuntia päivässä. Rakentamisen laadusta todettakoon, että jo muutaman vuoden kuluttua rakennelmia jouduttiin paikka paikoin korjailemaan.
Linnoituksen keskeiset osat, bastionit ja niitä yhdistäneet kurtiinimuurit, alkoivat olla valmiita 1760-luvun puolivälissä. Tämän jälkeen alettiin työstää rantoja ja raveliineja. Ne eivät tulleet koskaan täysin valmiiksi. Linnoitus on muodoltaan symmetrinen, noin 120 x 120 metriä, ja koostuu neljästä bastionista, yksi kussakin kulmassa. Bastioneista kolme on nimetty linnoitustöitä johtaneiden upseerien mukaan: Qveckfeldt, von Schantz ja Röök. Neljäs bastioni on nimeltään Nordenskiöld, ja se on saanut nimensä Loviisan ensimmäisen linnoitussuunnitelman tekijän mukaan.
Kurtiinimuureja on myös neljä, ja ne on nimetty ilmansuuntien mukaan: pohjoinen, etelä, itä ja länsi. Eteläinen kurtiini oli upseerisiipi, ja siellä sijaitsivat komendantin asunto ja kanslia. Pohjoinen kurtiini toimi varastona, ja itäisessä kurtiinissa oli miehistön asuintiloja.
