Selon la légende, c’est dans ce château qu'Uther Pendragon, le père d’Arthur, est mort. On raconte que le Roi Uther avait installé sa cour à Carlisle et sa Table Ronde au pont d'Eamont, juste au sud de Penrith à quelques kilomètres du château.
Ces ruines se dressent dans un cadre spectaculaire, au coeur de la vallée de Mallerstang. La rivière Eden coule presque à ses pieds, alors qu’au-dessus du château on peut admirer les sublimes chutes du sanglier ou « Wild Boar Fell ».
Pendragon Castle fut construit par Hugh de Morville sur les restes d’une demeure bâtie vers 1170. Le château passa de mains en mains pendant plusieurs décennies jusqu’en 1341 où il fut brûlé par les Scots puis laissé à l’abandon.
Reconstruit en 1360, le château fut occupé jusqu’en 1541 mais un autre incendie détruit le bâtiment qui reste ainsi jusqu'en 1643 date à laquelle Lady Anne Clifford s’y intéresse.
Lady Clifford commence alors une grande campagne de restauration en 1660. Mais, après son décès en 1666, le château est à nouveau laissé à l’abandon et retombe à l’état de ruine. Ce qui reste aujourd’hui de cette forteresse est consciencieusement entretenu afin qu’elle ne s’affaiblisse pas davantage.