San Sebastián de la Gomera ist reich an Geschichte, insbesondere im Zusammenhang mit der Entdeckung Amerikas: Christoph Kolumbus machte hier auf seiner ersten Reise ins Unbekannte Halt. Noch heute erinnern zahlreiche Orte an diese Zeit, wie etwa das Kolumbushaus (Casa de Colón) und die Kirche Iglesia de la Asunción.
Die Stadt wurde im 15. Jahrhundert gegründet und war lange ein wichtiger Handelshafen zwischen Europa, Afrika und Amerika. Kulturell ist San Sebastián tief mit den Traditionen der Ureinwohner, den Guanchen, verbunden, deren Einflüsse in Bräuchen und der Sprache „El Silbo Gomero“ – einer einzigartigen Pfeifsprache – weiterleben.
Zu den wichtigsten kulturellen Ereignissen zählen die Fiesta de la Virgen de Guadalupe, die alle fünf Jahre mit einer Meeresprozession gefeiert wird, sowie das bunte Karnevalsfest. Das kulturelle Leben der Stadt ist stark mit Musik, Tanz und lokaler Handwerkskunst verwoben.