És el poble més septentrional del Racó, s’assenta
sobre la vessant del mont Fabio, en la marge dreta de l'Ebron (afluent del Túria). Al
seu terme hi ha la Cruz de los Tres Reinos (1.555 m), on convergeixen els
antics regnes de València, Castella i Aragó; el Cabezo (1.446 m); també s'hi
troben el llogarets d'Arroyo Cerezo, Cuesta
del Rato, Mas de los Mudos, Mas de Jacinto i Los
Santos i els paratges de l'Hontanar i Val del Agua.
En març de 2014 van ser descobertes, en la lloma d’Abril un conjunt de cinc
pintures rupestres (tres humanes i dos d’animals), datades en el segle V aC,
que podria ser la primera pista d’un complex més important de pintures
rupestres al Racó d’Ademús. Hi ha troballes iberes en la necròpoli de la Nava i
en el jaciment de la Vila Vella. El seu origen es troba en el Castellum
Flavii, d'origen romà, que fou ampliat i reedificat pels àrabs ( Castil-al-Habib
“castell de l'amic”). En 1179 és afegit a València pel tractat de Cazola; el
1210, Pere II (1177-1213) el
conquesta; torna a mans musulmanes fins que Jaume I (1208-1276) el reconquesta i cedeix els
delmes a l'orde del Temple; en 1273 el tractat d'Almizra confirma la pertinença
al regne de València. Al segle XIII tenia vot a les Corts Valencianes. El 1304 el
rei Jaume II (1267-1327) va
posar-lo, junt amb Ademús, com a garantia del préstec que va rebre de Gil Ruiz
de Lihori. El 1319 desaparegué
l'orde del Temple i els delmes passaren a la de Montesa, la qual hi constituí la
baronia de Castielfabib formada pel territori del Racó. Durant el segle XIV
els castellans intentaren, en diverses ocasions, conquistar-lo però fracassaren.
Quan l'ocupació francesa va servir de presó i comandància. A les primeries del XIX
se li segregaren Torre Alta i Torre Baixa; durant les guerres carlines fou hospital
de sang en la segona i fortificada pels carlins en la tercera. Els efectes de la
guerra de 1936-1939 van ser dramàtics a Castellfabib per trobar-se en zona republicana
i ser zona fronterera.