Fästningen började byggas den 12 februari 1748, och arbetena fortsatte i intensiv takt i cirka 10 år, även om det ibland rådde brist på pengar och byggmaterial. Stenarna fick man från Svartholm, men teglet fraktades från tegelbruken i närtrakten. Kalk hämtades ända från Gotland. För att inte skada stenarna klövs de genom att borra för hand och genom noggrann klyvning utan sprängämne.
Fästningen byggdes främst av soldater och fångar, det vill säga billig arbetskraft, men man behövde också i viss utsträckning anlita yrkeskunniga hantverkare. Arbetena pågick 6 dagar per vecka och 12 timmar per dag. Vad gäller byggnadskvaliteten kan man konstatera att man redan några år senare var tvungen att ställvis reparera konstruktionerna.
De centrala delarna av fästningen, bastionerna och de kurtiner som förenade bastionerna med varandra, började vara färdiga på 1760-talet. Efter detta påbörjade man arbetet med strandverket och ravelinerna, vilka aldrig blev helt färdiga. Fästningen är symmetrisk till formen, cirka 120 meter x 120 meter stor och består av fyra bastioner, en i varje hörn av fästningen. Tre bastioner har fått namn efter officerare som ledde byggnadsarbetena: Qveckfelt, von Schantz och Röök. Den fjärde bastionen har fått namnet Nordenskiöld efter utarbetaren av den första befästningsplanen för Lovisa.
Kurtinmurarna är också fyra till antalet, och de har fått namn efter väderstrecken: norra, södra, östra och västra. Den södra kurtinen var till för officerare, och i den fanns kommendantens bostad och kansliet. Norra kurtinen var förråd och i östra kurtinen fanns bostäder för manskapet.
