Castallas Architektur spiegelt die wechselhafte Geschichte der Stadt wider. Das Wahrzeichen ist das Castillo de Castalla, eine gut erhaltene Festung, die auf einem Hügel thront und spektakuläre Ausblicke auf die Umgebung bietet. Das Bauwerk kombiniert maurische Ursprünge mit christlich-gotischen Erweiterungen.
Die Altstadt ist geprägt von engen Gassen, historischen Wohnhäusern und Kirchen wie der Iglesia de la Asunción, die aus dem 16. Jahrhundert stammt und im Renaissance-Stil erbaut wurde. Auch das Rathaus ist architektonisch sehenswert.
Zu den weiteren Attraktionen zählen der Naturpark Font Roja, das Festmuseum und verschiedene Aussichtspunkte rund um die Stadt. Auch der wöchentliche Markt ist ein Erlebnis für sich und bietet lokale Produkte sowie einen authentischen Einblick in das tägliche Leben.