Dins del nucli urbà de Herbers s’alça imponent, en la part més elevada, una grandiosa casa senyorial coneguda actualment com el Castell de Herbers. Aquesta residència nobiliària va ser construïda en el segle XVI, totalment en pedra, i encara conserva part dels seus elements arquitectònics defensius, com les seues almenes fortificades. Sobre l’entrada, amb un arc de mig punt abocinat en pedra, es troba l’escut d’armes d’una de les famílies propietàries d’aquesta casa: els Ram de Viu. Aquesta família va tindre un personatge rellevant, especialment durant les guerres carlines: el baró de Herbers. L’escut està dividit en quatre parts i duu la creu de l’orde de Santiago, coronat amb la corona de baró.

El conjunt de l’edifici segueix l’estil gòtic, amb una estructura rectangular i almenes a la part superior. Les finestres són ogivals, també en estil gòtic, adornades amb calats i reixes originals. Encara es conserven les dependències interiors, amb les habitacions dels senyors al primer pis, mentre que a la planta baixa es troben dos calabossos, la celler i el celler d’oli. A la façana principal, es manté el pati d’armes com a testimoni de la seua història.

Aquesta casa senyorial va ser una baronia pertanyent a la família Cubells, va passar per matrimoni a la família dels Valls i, posteriorment, a la família aragonesa dels Ram de Viu, a la qual encara pertany aquest edifici nobiliari.