Il santuario ha origine da quella che era la cappella del castello di Rivergaro (fortilizio non più esistente), dedicata a San Giacomo, descritta nelle visite pastorali dal 1571. La chiesetta romanica, ad orientamento ortogonale rispetto a quello attuale, è stata inglobata nella costruzione odierna.
Vi si venera la Madonna delle Grazie, rappresentata da un antichissimo simulacro in legno a impostazione frontale posto sull’altare maggiore, che appare fortemente rimaneggiato (rimangono dell’opera originaria troncone, volto e Bambino). La devozione popolare all’immagine, soprattutto degli abitanti della Val Trebbia, è documentata dai numerosi ex voto per grazia ricevuta offerti nel corso dei secoli, per i quali è stata predisposta una cappella apposita.
Nel 1836, quando la chiesa, allora dipendente dalla parrocchia di Bassano, venne fatta ristrutturare dal parroco, fu approntato un altare maggiore con spazio apposito per la statua mariana. Nel 1876, quando passò alle dipendenze della parrocchia di Rivergaro, la chiesa cominciò ad essere chiamata santuario, ma solo nel 1902 Giovanni Battista Scalabrini conferì all’edificio sacro il titolo di Santuario della Madonna delle Grazie del Castello. Nel 1944 il rettore dell’epoca, padre Porrini, fece allungare di sei metri la costruzione, demolita l’abside semicircolare. Dal 1927 a pochi anni or sono hanno gestito la realtà religiosa i Missionari Scalabriniani.