Durante el siglo XIV este castillo -fortaleza fue mandado construir por Don Sancho Manuel durante el reinado de Pedro I de Castilla. Destaca el gran torreón de planta cuadrada, rematado en las cuatro esquinas por torreones. Conserva la estructura militar junto con las almenas.

Unida se encuentra una construcción rectangular de dos plantas que sería la zona residencial. Al pie encontramos el patio que a día de hoy se conoce como plaza Juan José Gómez Molina. 

Se reconoce como el último propietario a Don Rafael Villanuesa, Conde de Casal cuándo Carcelén consigue liberarse de las ataduras señoriales a principios del siglo XIX.

En la actualidad el castillo se conserva en buen estado gracias a que se ha usado como edificio público. Este castillo ha sido hospital, colegio, ayuntamiento, bar y biblioteca, entre otros.