Замок Дьеппа был основан в 1188 году, но уже в 1195 году был разрушен. Новый замок на этом месте был воздвигнут в 14 веке. Позднее замок был в значительной степени реконструирован. Нынешняя постройка состоит из четырехугольного ограждения с круглыми фланговыми башнями и смежным нижним двором.