“Lo Castell”, com popularment se li coneix, apareix documentat per primera vegada en 1133, en la reconquesta de la zona i castell de Mequinensa per Alfons I “El Batallador”.
De planta irregular hexagonal, se situa en un alt escarpado del riu Matarranya. A partir d'ell, i en un suau pendent cap al ric Algars va créixer la vila de Nonasp. La construcció que s'ha mantingut fins a l'actualitat es data al voltant del 1409, època en la qual es va produir la seva reconstrucció. En la portalada d'accés al castell es poden observar els escuts dels Luna, els Fluvià i la Creu de l'Ordre de San Juan. Els finestrals es van obrir posteriorment, al començament del segle XVIII.
El propietari del castell va ser sempre l'amo de la vila fins a l'arribada de la desamortització. Durant aquests segles, ha estat casa-palau, caserna, magatzem dels impostos en espècie, escola, presó, hospital o refugi de captaires.
En 1988, va ser rehabilitat i, des de llavors, s'usa com Ca la Vila, saló d'actes i dependències oficials. Destaca el pati d'armes, convertit en una gran plaça que apunta al ric Matarranya i al ferrocarril en una esplèndida panoràmica.