Pirmasis normanų pilis buvo pastatyta tuo Lydford netrukus po užkariavimo 1066; savo žemės darbai lieka matoma St Petrock bažnyčia pietinėje pusėje. Naujas bokštas buvo pastatytas 1195, šiek tiek į šiaurę nuo originalaus pilis, galbūt naudoti, kalėjimo. Sometime XIII a. jis buvo pastatytas. A griovys buvo iškasti aplink bokštą ir dirvožemio ilgąją prieš pirmame aukšte sudaro piliakalnis. Į viršų dviejų aukštų buvo paversti maža saugoti, o pirmame aukšte buvo užpildyta in tuo pačiu metu buvo apskaičiuota žemės darbai bailey į šiaurės vakarus. Iki 18 amžiaus pradžios pilis tapo apleistas, bet jis buvo suremontuoti, ir kito amžiaus tarnavo kalėjimo ir teismo rūmuose, prieš buvo atsisakyta dar kartą ir leidžiama patekti į griuvėsiai.