Kad je Louis XIV predložio ideju o utvrdi usred vode kod Biskajskog zaljeva (dio Atlantskog oceana uz zapadnu obalu Europe) njegovi su savjetnici zasigurno pomislili da je Kralj Sunce potpuno poludio. Kazali su mu kako tako nešto nije moguće i nježno su ga odvratili od takve ideje. Otprilike 150 godina kasnije Napoleon je zaključio kako kralj i nije bio tako nerazuman, a projekt Fort Boyard mogao je početi s pripremom.
Neobična tvrđava u obliku stadiona (ili limenke mesnog nareska) smjestila se između otoka Aix i Oléron, a uloga joj je bila obrana francuske obale od Engleza. Izgradnja utvrde (ili logistička noćna mora) započela je 1801. godine. Sizifov posao dočekao je lokalne radnike koji su morali postavljati temelje od kamenja. Plime i oseke činile su njihov posao gotovo nemogućim zadatkom. Trebalo je proći šest godina da bi se projekt obustavio.
Britanska mornarica je i nakon trideset godina Francuzima predstavljala opasnost, a snovi o utvrdi su još uvijek bili aktualni. Nakon što je konačno sagrađena 1857. godine Fort Boyard je je postao beskoristan jer se u međuvremenu topovska tehnologija znatno poboljšala, a tvrđava strateški više nije služila svrsi. Osam milijuna franaka koje su utukli u izgradnju tada je bila golema količina novca, ali vojno im se nije isplatila.
Kada su konačno izgrađeni, zidovi utvrde su imali 20 metara visine i širili se na debljinu od 30 metara. Bez ikakve svrhe, osim što je nakratko poslužila kao vojni zatvor, masivna utvrda brzo je propala.
1988. godine krenula je obnova tvrđave s namjerom da se iskoristi za avanturističku igru pod nazivom „Fort Boyard“ u kojoj natjecatelji moraju riješiti fizički zahtjevne izazove kako bi osvojili novčane nagrade. Uz bok građevine izgrađena je i potporna konstrukcija nalik na naftnu platformu kako bi poslužila za potrebe TV-showa. Emisija se počela prikazivati u devedesetima i poslužila kao ideja za poznatije avanturističke igre u kojima se natjecatelji moraju suočiti s vlastitim strahovima ili preživjeti na pustim otocima.
