Свое название замок получил в честь его основателя барона Роберта де Витре, который в 1060 году начал строительство здания. Однако его первоначальный облик сильно изменился в результате капитальной реконструкции в девятнадцатом веке. Первый замок был выполнен из дерева и не мог простоять столетия, его заменили на каменное сооружение.
Замок скорее считался фортом и выполнял оборонительные функции, защищая Бретанское герцогство от вторжения французских королей. По этой причине интерьеру не уделялось особого внимания, а все усилия были направлены на то, чтобы укрепить стены здания. Сооружение периодически обрастало новыми башнями. Так, в 1420 году появилась башня Святого Лаврентия, за ней, с северной части замка, пристроили башню Магдалины. К 1430 году завершились работы по сооружению и башни Монтафилан, а также появились ворота с подъемным мостом. Стены форта были прекрасной обзорной площадкой, с которой вся долина оказывалась как на ладони.
Все изменилось с 1487 года, когда замок перешел в руки барона Ги XV де Лаваля. Французы облагородили внутренне убранство замка и придавали большое значение эстетическому виду: в замке появились галереи, часовня и портал.
Сегодня любой турист может преодолеть 82 ступени, подняться на смотровую площадку башни Монтафилан и насладиться видом, который открывается на квартал Черных холмов, селение Монахов, реку Вилен и старинный кожевенный завод.
