Moussa Al Maamari u školi se zaljubio u prekrasnu djevojku Sayde, koja je potjecala iz imućne obitelji. Pitao ju je bi li bi mu bila djevojka, na što je odgovorila: "Kada budeš imao dvorac, možeš mi se obratiti.“
Na satovima likovnog počeo je skicirati polaču za svoju Sayde iako je učitelj tražio da nacrta nešto sasvim drugo. Misleći da ga namjerno provicira, učitelj se razbjesnio i kaznio Al Maamarija rekavši mu da nikad neće posjedovati dvorac.
Moussa Al Maamari s 14 godina napustio je školu te je odlučio dokazati svojem učitelju da može ostvariti svoje nove snove. Graditeljski zanat počeo je izučavati kod ujaka, koji je u to vrijeme renovirao dvorac u Sidonu.
Razvijao je svoje vještine, štedio novac, a 1962. godine uspio je kupiti komad zemljišta na kojem je počeo graditi svoju palaču u srednjovjekovnom stilu. Bila mu je tada 31 godina.
Da bi izgradio ovo zdanje, Moussa je pomaknuo 6000 kamena, od čega su neki težili čak 150 kilograma. U gradnju je utrošio sve svoje slobodno vrijeme, a pomagala mu je i njegova supruga Mary.
Na vrata dvorca postavio je natpis: "Ušao sam ovdje kao mlad čovjek, a izašao kao ostarjeli muškarac", pokušavajući pojasniti kako je zapravo cijeli svoj život proveo gradeći svoj dvorac.
Zanimljivo je napomenuti i da je namjerno napravio vrlo mala ulazna vrata kako bi mu se eventualni posjetitelji trebali pokloniti prije nego što uđu u dvorac.
Danas je dvorac Moussa u Libanonu jedan od najposjećenijih turističkih atrakcija, koji u ljetnim mjesecima svakoga dana razgleda i tisuću posjetitelja. Smješten je u planinama Shouf između Deir el-Qamara i Beiteddinea na 900 metara nadmorske visine.
Dvorac se prostire na 325 četvorna metra, ima 30 prostorija te oko 150 figura u prirodnoj veličini koji prikazuju povijest Libanona. Svaku od tih lutaka Moussa je ručno izradio.
