Die Ursprünge von Andratx reichen bis in die prähistorische Zeit zurück, mit Spuren talaiotischer Siedlungen. Während der römischen Herrschaft war das Gebiet landwirtschaftlich genutzt, bevor es im Mittelalter unter maurische Kontrolle geriet. Nach der christlichen Rückeroberung im 13. Jahrhundert wurde Andratx wieder zu einem wichtigen Verteidigungs- und Landwirtschaftszentrum.
Das historische Stadtbild ist durch enge Gassen und traditionelle Steinhäuser geprägt. Die Kirche Santa Maria aus dem 13. Jahrhundert ist ein markantes Wahrzeichen der Stadt. Ein weiteres bedeutendes Bauwerk ist das Castell de Son Mas, heute Sitz des Rathauses.
Andratx pflegt eine lebendige Kulturszene. Besonders hervorzuheben ist das CCA Andratx (Centro Cultural Andratx), eines der größten Zentren für zeitgenössische Kunst auf den Balearen. Traditionelle Feste wie Sant Cristòfol und Sant Antoni werden mit Umzügen, Musik, Tanz und Feuerwerk gefeiert und geben Einblicke in die tiefe kulturelle Verwurzelung der Gemeinde.