Vuit anys més tard el bisbe castigà els feligresos de Jafre per no reparar l'església, tot i amenaçar ruïna, i encarregava als rectors de les parròquies veïnes que no els acollissin a les seves esglésies. En el mes de març de l'any 1378 hom es feia ressò de les grans mortaldats que havien assolat el poble, fet que pot explicar la manca de decisió en procedir a l'arranjament de l'església. Al capdavall, i tot i l'oposició d'una significada família del poble, l'any 1379 es dugué a terme la reconstrucció de l'absis de l'església, i pogué reprendre les seves funcions amb plena normalitat. Aquesta situació de precarietat s'infereix també per altres notícies d'aquest període. Així, el 22 d'agost de l'any 1343 el bisbe es veia obligat a posar un entredit o censura en constatar en una visita pastoral la manca d'un antifonari o llibre litúrgic que contenia antífones i cants, i els fixava com a límit el dia de Sant Andreu per a tenir-lo. Més tard, en la visita pastoral del 17 de gener de 1421, el bisbe constata que és un sagristà de Verges qui té cura de les ànimes, i revisa l'estat dels elements d'art sacre i les fonts baptismals, i els apercebeix del mal estat d'alguns llibres de culte. Paral·lelament, el comportament d'algun religiós no era gaire exemplar; així, el setembre de l'any 1324, Ramon Ferrer, domer de Jafre, que era pres per certs excessos que no es detallen, és donat a manlleuta, és dir, en llibertat provisional a canvi d'una garantia econòmica, per la quantitat de 1.000 sous, i el novembre de l'any 1328 es fa constar l'absència del sagristà Bernat Bessó, la qual cosa obliga a substituir-lo. Tanmateix, l'any 1377 s'inicià un procés contra Guillem de Puig, clergue de Jafre, sota l'acusació d'haver trencat en companyia d'altres persones una resclosa del molí. Mentrestant, l'església parroquial fou objecte d'algunes reformes. A la darreria de l'any 1618 es donava llicència al rector per tal de vendre ciris i destinar-ne els beneficis per treure una pilastra de l'església i al seu lloc construir-hi una arcada, i l'any 1668 es permetia construir la sagristia. Val a dir, també, que l'ensenyament de les primeres lletres i de nocions de religió era dut a terme per eclesiàstics. L'estat de l'església no devia ser tampoc gaire satisfactori, ja que l'any 1739 el visitador general reverend Guirch Molar ordenà la construcció d'una de nova. Suggeria que s'aprofitessin els murs del castell, que eren encara "molt forts i bons". La nova obra pogué dur-se a terme mitjançant la contribució econòmica de tot el poble, de manera que tal com assenyala Maruja Arnau, l'any 1771 es construïa una capella i la sagristia, i es formà el creuer a la nau de l'església, afegint-hi el presbiteri. Tot i que la part substancial de l'obra era closa, l'any 1819 es construí el campanar, i el 1823-24 la portalada del frontis i s'enllosà el paviment. L'església actual és d'estil renaixentista, construïda a la segona meitat del segle XVIII. És d'una sola nau, amb capelles laterals, de creu llatina, amb absis poligonal i cúpula sobre creuer. A la façana occidental i ha un baix relleu que representa el patró del poble, sant Martí, a cavall. El campanar és una torre de planta rectangular i amb la part superior octogonal, i n'ha pervingut la dita que és fet d' "alls", en referència al fet que les despeses de la seva construcció foren cobertes amb la venda dels alls que els jafrencs havien plantat a les terres cedides pels propietaris benestants.