El castillo de Benabarre  se enclava a lo largo de un cerro alargado de gran altura, siendo una construcción originaria, según Cristóbal Guitart de época musulmana.

El conjunto formado por el castillo y la iglesia de Santa María de Valdeflores ejerce como hito y núcleo de la localidad, a partir del cual creció la población configurando un urbanismo de ladera en la vertiente sur del castillo, ya que por el norte presenta un desnivel inexpugnable.

El castillo es de planta asimilable al rectángulo, de unos cien por cincuenta metros, en cuyas esquinas se observan bastiones.

El castillo de Benabarre en la actualidad se asemeja más a un fuerte del siglo XIX, aunque conserva gran cantidad de construcciones y muros de cuando fue castillo-palacio de los condes de Ribagorza, por lo tanto se trata de un conjunto monumental de un solo recinto donde se integran todas las transformaciones del inmueble paralelas a sus avatares históricos, desde vestigios de la ocupación islámica hasta el siglo XIX.

El monumento está compuesto de dos recintos escalonados sobre la cumbre de la montaña. En el superior y más antiguo se conservan algunos muros y paredores sobre el espolón rocoso, donde se observa en la zona de más altura los arranques de una torre cuadrada, posiblemente obra musulmana, así como en  el trazado perimetral de la roca con zonas vaciadas para asentar cimientos y muros.

En el recinto inferior se observan los restos del templo del siglo XII, ya que se construyó una iglesia románica con una torre a sus pies, que fue ampliada posteriormente.

A finales del siglo XIV se hizo una reforma, levantando la iglesia gótica de Santa María de Valdeflores, con una gran torre de sillería, tras ella se adosa un cuerpo rectangular que pudo ser la cisterna, además de lienzos del recinto amurallado, del cual todavía quedan las primeras hiladas. Junto a la portada de la iglesia parte un acceso en recodo hasta el recinto alto, tramo protegido por un torreón semicircular que presenta saeteras, y al sur de la roca, está el patio y un el recinto exterior construido sobre la parte baja del promontorio con muros en talud. En los extremos este y oeste se observan los torreones de vigilancia de planta circular perforados por saeteras adaptados para las armas del siglo XIX. En el conjunto defensivo de Benabarre perviven los restos de las obras de los siglos XIV y XV, obras de un castillo que Felipe II mandó desmantelar a finales del siglo XVI,  junto con reconstrucciones realizadas en el siglo XIX,  para su conversión en fuerte fusilero ya que esta fortificación jugó un papel destacado durante las tres guerras carlistas.