Als seus orígens el lloc de Vila Vella devia ser la fortalesa  d'una antiga població que inicialment s'estendria entorn la badia de Tossa i que existia ja a l'època romana amb el nom de Turissa. El recinte emmurallat està format per notables panys de mur amb tres grans torres cilíndriques acabades en corseres i quatre torres petites o d'angle que reforcen la cortina de la muralla. les tres grans són: la del Codolar, dita també de l'Homenatge, que estava annexa al palau o residència dels castlans o batlles i després del governador; la torre de Les Hores, prop la porta d'entrada a la vila, dita així perquè tenia el rellotge públic; i la torre de Joanàs, situada més a llevant sobre una roca que domina el mar. 
 
Al punt més alt de la Vila Vella, dita a l'Edat Mitjana "Mont Guardí", hi ha les restes de la primitiva església parroquial de Sant Vicenç. Ara només li queda la capçalera o absis i un fragment de la nau. Era una obra gòtica bastida el segle XIV o inicis del segle XV. 

La Vila Vella té estrets carrerons, graonats i pavimentats de còdols i dases amb bonics finestrals gòtics. Es comunica amb la Vila nova, formada a partir del segle XVI, per un bonic portal dovelat. Aquesta Vila Nova va créixer quan desaparegué el perill de la pirateria. Entre els segles XV i XVIII el cens de Tossa oscil·là entre 400 i 500 habitants. 

A l'actualitat Tossa de Mar ha estat i és encara lloc de trobada d'artistes i bohemis. Al seu museu, el primer d'Art Contemporani de l'Estat Espanyol, es mostren obres de Marc Chagall i de molts altres pintors i escultors que s'han inspirat amb la llum, els colors i el paisatge d'aquest indret que és d'una bellesa infinita. Cada estiu, al mes d'agost, es celebra el Concurs Internacional de Pintura Ràpida que aplega centenars d'artistes de tot el món.