De l’occupation de cette résidence jumelée par différents membres de la famille Dufresne, en passant par les collégiens des Pères de Sainte-Croix, le Château a abrité le premier Musée national d’art contemporain du Québec et un premier Musée des Arts décoratifs, avant de devenir lui-même l’établissement muséal et patrimonial que l’on connaît aujourd’hui. Les vocations successives du Château Dufresne font maintenant partie du parcours introductif de la visite des lieux.