Indtil 1903 havde postekspeditionen været knyttet til den til enhver tid værende postmester og var ofte et retrætejob. Syd for og ved siden af Bystationen fra 1902 byggedes et posthus, tegnet af DSB-arkitekten Heinrich Wenck med kamtakkede gavle og fladbuede vinduesstik og med inventar fra den lokale snedkermester R.E. Rasmussen.

Huset blev taget i brug i sept. 1903 og havde en komfortabel lejlighed til postmesteren på 1. sal.

Telegrafstationen flyttede hertil fra Trautnersvej i 1928. Posthuset blev en del ombyttet i 1987.
Postfunktionen flyttede i 2014 til Svegårds Boghandel, og bygningen blev købt at Sorø Kommune.