Hovedbygningen er i nyklassicistisk stil. Tegnet af kgl. stadsbygmester, arkitekt Peder Malling, opført efter branden af det tidligere Fr.V’s Akademi. Bygningen kom til at ligge, hvor det oprinde lige klosters sydfløj lå.

Selve bygningen har form som et stort I med undervisningslokaler udad og korridorer ind mod Fratergården.

Mallings akademibygning blev holdt i helt lys farve både udvendig og indvendig. Bygningen er ompudset i 1990-erne. Daglig indgang er fra Fratergården medens indgangen fra søsiden benyttes ved festlige lejligheder.

På gårdspladsen mellem Hovedbygningen og kirken er markeret, hvor klostret og senere akademierne lå inden den ødelæggende brand af det smukke barokanlæg i 1813.

Midt på pladsen ses Fraterbrønden.

Under byggeriet blev der holdt skole ude i byen. I 1826 flyttede eleverne ind på 2.sal. De fik undervisning i stueetagen medens håndværkerne arbejdede videre på 1. sal.

I 1860-erne malede kunstneren Georg Hilker vægge, lofter og døre i pompeianske motiver og farver: okker, pompeianskrød og koboltblå. Motiver med blomsterranker, dyr og fugle, samt de berømte kassettemalede lofter og karme.

Bygningen blev indviet af Frederik VI i 1827.