L’existence du château de Fresnay-sur-Sarthe est attestée au IXesiècle. Certains indices permettent même de penser que des habitants s’était déjà établis sur le site dans le courant du premier millénaire. La forteresse est construite sur le rocher qui surplombe un gué de la Sarthe.
Lieu de passage bien défendu, doublé d’une position stratégique aux confins du Maine, Fresnay appartient aux Vicomtes de Beaumont qui doivent le défendre à plusieurs reprises des attaques des Ducs normands pendant le XIesiècle.