De l'ancienne église de Gaubert, il ne subsiste que la partie rupestre encore monumentale taillée dans le banc de grès qui porte le village.
Les érudits du XIXe siècle croyaient y voir les restes d'un temple païen; Les éléments de datation manquant, il est raisonnable de situer la construction de cette église vers les XIe et XIIe siècles.
L'orientation traditionnelle est-ouest est respectée contrairement à l'église nouvelle du XVIIe avec son chevet à l'ouest.
La Nécropole avec ses tombes rupestres a toujours suscité la curiosité à Gaubert comme dans d'autres lieux provençaux (Montmajour, Vennegues, Carluc, ...). les tombes creuses dans la roche sont fréquentes lorsque l'église elle-même se place sur un socle rocheux, le cimetière médiéval entourant généralement l'église paroissiale.