Das Stadtbild von Vejer wird dominiert von weiß getünchten Häusern, schmalen Gassen und blumengeschmückten Innenhöfen – typisch für die maurisch-andalusische Architektur. Das wichtigste historische Bauwerk ist das Castillo de Vejer, eine Burg aus dem 10. Jahrhundert mit erhaltenem Wehrturm und Panoramablick über die Stadt und das Umland.
Ein weiterer zentraler Ort ist die Plaza de España, das lebendige Herz der Stadt, bekannt für seine farbenfrohe Keramik-Brunnenanlage und die gesäumten Cafés. Auch das Convento de las Concepcionistas, ein ehemaliges Kloster, das heute als Veranstaltungs- und Ausstellungsort dient, ist sehenswert.
Zu den weiteren Highlights zählen die Iglesia del Divino Salvador, eine imposante Kirche mit gotischen und Mudéjar-Elementen, sowie der Mirador del Santo, ein Aussichtspunkt mit fantastischem Blick auf die Küste. In der Umgebung lohnen sich Ausflüge zum Naturpark La Breña oder zu den Stränden von El Palmar und Zahora.