Tout château a des légendes, le Fort La Latte n'échappe pas à cette règle. Mais est-ce une légende cette rumeur persistante qui figure dans de nombreux récits du Moyen Age repris plus tard par un bon nombre d'historiens : un banneret de Bretagne N. de Goyon, compagnon d'Alain Barbe Torte, aurait érigé à cette endroit vers 931 un donjon en bois pour surveiller les allées et venues des Normands et les repousser... Laissons à la légende qui a sans doute pour but d'attester que le nom prestigieux des Goyon remonte à des temps immémoriaux et approchons nous des certitudes quant à la famille de Goyon-Matignon et à l'édification du château.
