Prva zanesljiva omemba cerkve na Gradu sega v leto 1488. Mogoče pa je, da se na to svetišče nanaša tudi že omemba v urbarju iz ok. 1350, ki navaja ime “pri naši Gospe pod Krasom”. Iz vizitacijskega poročila leta 1570 izvemo, da je cerkev imela tri oltarje in se je pri njej zbirala Marijina bratovščina, kar priča o njeni veljavi. V 18. stoletju so pri njej nekaj časa bivali puščavniki (eremiti). V istem stoletju so bile v času, ko je v Mirnu služboval župnik Peter Marušič, zgrajene postaje križevega pota, svete stopnice in kalvarija in število romarjev je raslo. Leta 1765 je na Gradu zaživela stalna kuracija (kaplanija), ki pa po reformah cesarja Jožefa II. ni stalno delovala. Leta 1866 je mirenski župnik Janez Elersič z darovi romarjev zgradil večjo cerkev sedanje velikosti. Bila je posvečena Žalostni Materi božji. Leta 1913 so upravljanje cerkve prevzeli lazaristi. Med prvo svetovno vojno je bila popolnoma porušena. Po načrtih arhitekta Umberta Cuzzija je dal župnik Oskar Pahor po vojni zgraditi novo. Med drugo svetovno vojno je bila tudi ta cerkev močno poškodovana. Lazaristi so jo začeli obnavljati leta 1955, posvečena pa je bila šele 13. julija 1986.
Sedanja cerkev sodi med večje v koprski škofiji in je zgrajena v novoromanskem slogu na bazilikalni osnovi. Prvotni načrt za glavni oltar je zasnoval arhitekt Ivan Vurnik, leta 1963 pa ga je po svoji zamisli dokončal Tone Kralj ter zanj izdelal tudi kip Žalostne Matere božje. Cerkev je opremil še s poslikavami: njegov je križev pot v lunetah stranskih ladij ter skrivnosti rožnega venca na stenah svetlobnega nadstropja. Slednje je leta 1986 v fresko tehniki obnovil Lojze Čemažar. Pod korom je spovednica, ki jo je leta 2005 zasnoval arhitekt Boris Podrecca.
Pročelje cerkve krasi podoba Žalostne Matere božje, ki jo je po načrtih Toneta Kralja iz barvnih steklenih koščkov izdelal Oskar Kogoj. V levem zvoniku so štirje zvonovi, ki so bili posvečeni leta 1987.