Un document de 1978, nous apprend que le château constitue un remarquable ensemble, caractéristique des temps où la vie nobiliaire restait étroitement liée à la vie agricole. Le Château et la ferme constituent deux propriétés distinctes aujourd'hui. Les plus anciens éléments architecturaux datent du XVIe siècle époque où la terre appartenait à la famille Morell, que nous retrouvons à Aubigny et à Assy. La chapelle de Torp était l'ancienne église paroissiale de la commune de Torp, rattachée depuis le XIXe siècle à la commune de Villers-Canivet. Elle était placée sous l'invocation de la Vierge, selon l'historien local Galeron. En 1828, la paroisse était déjà réunie à celle de Villers-Canivet.