Los restos del Castillo, datado en el siglo XIII, se asientan en la parte alta del casco urbano sobre una roca calcárea muy cerca de la iglesia y del palacio. Conserva paramentos de 2 metros de altura construidos sobre la roca. Es de planta rectangular - 16 por 5 metros - con las esquinas redondeada y obra de mampostería y mucha argamasa.
Por un documento fechado el 30 de marzo de 1218 se conoce que el abad del monasterio cisterciense de Escarp se comprometió a entregar al rey de Aragón, Jaime I, el castro de Alíns junto con el de Juseu, que habían sido dados por su padre Pedro II en 1213 a cambio del castro i villa de Colungo.
Desde 1287 perteneció a Gombalde de Benavent, que lo poseía junto con los castillos de Panillo y Azanuy.
En 1293 Jaime II de Aragón donó el lugar de Alíns a Raimundo de Molina bajo la condición de que nunca sería transferido a personas "santas o religiosas". Cláusula que no fue cumplida al ser adquirido en 1236 por la priora de Sijena doña Blanca de Aragón, hija de Jaime II.
Entre 1281 y1425 el castillo quedó integrado en el condado de la Ribagorza.