Legenda zamku Lourmarin związana jest z klątwą rzuconą przez romskich pielgrzymów, którym zabrano możliwość korzystania z zamkowych ruin jako miejsca odpoczynku podczas corocznych pielgrzymek do wioski Saintes-Maries-de-la-Mer, miejsca ich kultu do Czarnej Sary. Jej historia to osobna opisana legenda.
Po wojnach religijnych w XVI wieku zamek Lourmarin, spalony i zniszczony popadł w ruinę i zapomnienie bo jego kolejni właściciele zajmowali się wyłącznie maksymalnymi zyskami z plonów ziemi. Z biegiem czasu ruiny zamku zasiedlone zostały przez romskich wędrowców, którzy traktowali to miejsce jako idealny przystanek na trasie do Camargue. Na ścianach pojawiły się dziwne rysunki, prawdopodobnie w języku ormiańskim, wraz z rysunkami żaglówki z ludźmi na pokładzie, a wszystko to otoczone krzyżem, swastyką, pięcioramiennymi gwiazdami i słowem „Armeny”. Z danych historycznych wynika, że rodzina o tym nazwisku rzeczywiście istniała… w Marsylii, osiedlając się tam od wieków. Być może pewnego dnia podróżowali przez Lourmarin, zatrzymali się tam i zostawili po sobie graffiti?
Znajdujący się nad drzwiami napis: „Pij, a potem idź, 1513” mógł być wskazówką dla Romów – napij się z zamkowej fontanny, ale nie zostawaj tylko idź dalej.
W 1920 roku bogaty przemysłowiec z Lyonu kupił budynek i wyrzucił podróżnych. Romowie wściekli z powodu konieczności opuszczenia zamku, rzucili na niego i każdego z nim związanego klątwę. W sumie w latach 1925-1960 zginęło 13 osób w jakiś sposób związanych z zamkiem i jego odbudową albo w wypadkach drogowych albo popełniając samobójstwo. Najbardziej znany jest los, który spotkał pisarza Alberta Camusa – Kiedy scedował część swoich tantiem na fundację odpowiedzialną za zamek, następnego dnia zginął w wypadku drogowym.
Trudno sobie wyobrazić, żeby tak piękne miejsce mogło przynieść tak tragiczne skutki …