Forhuset er opført 1832-34 for Sorø Akademi til godsinspektør, etatsråd Søren Kierulff Povelsen. Senere var det i en årrække til rådighed som aftrædelsesværelse for de siddende undervisningsministre.

Siden 1964 har Vestsjællands Kunstmuseum, et af provinsens fineste kunstmuseer, været her. Museets samlinger viser stærk tilknytning til byen.