Rose Isabelle de Montmollin (1821-1883) la fit construire en mémoire de son mari, Charles Joseph La Trobe, et de sa fille Isabelle. Elle sera remise en don à la paroisse de Neuchâtel en 1927. 

A l’occasion du centenaire de sa construction, en 1978, l’Etat australien de Victoria offre un vitrail qui retrace la vie de Charles Joseph La Trobe, qui fut son premier gouverneur. Entre 2003 et 2005, grâce au généreux legs d’une fidèle, les paroissiens de l’Ermitage se lancent dans la fabrication de vitraux de verre coloré pour célébrer les 125 ans de la chapelle. Une douzaine d’entre eux se retrouvent un soir par semaine durant deux-trois ans pour les concevoir et les réaliser, dirigés et aidés par le verrier Daniel Goetsch. 

Le résultat: deux vitraux qui bordent celui en hommage à Charles Joseph La Trobe; dix vitraux représentant une progression de la lumière, des couleurs et des lignes pour les fenêtres de la façade sud et huit autres figurant une couronne d’épines sur celles du nord.