За наказом короля Англії Вільгельма II в 1087 році розпочинається будівництво перших укріплень майбутнього замку.
Жізорскій замок часто називають замком тамплієрів. І до цих пір сперечаються що не відомо чи є пагорб, на якому побудований замок Жизор, природним або штучним.