Selon la légende, un moine irlandais, saint Ursanne, a vécu vers la fin du VIe siècle dans une grotte surplombant le Doubs, afin de propager la foi chrétienne dans la région. Recherchant sa proximité, des pâtres et des chasseurs sont venus s’installer dans la région. C’est ainsi que la localité fondée en 619 après Jésus-Christ a pris le nom du moine.
Pour accéder à l’ermitage, il faut monter les quelque 200 marches de l’escalier de pierre situé au nord de la collégiale. Dans la grotte fermée se trouve une statue de l’ermite endormi ainsi que celle d’un jeune ours, qui faisait visiblement partie de la maisonnée. Deux monuments marquent l’emplacement de l’ermitage: une chapelle de style post-gothique reconstruite il y a environ 400 ans et une croix en pierre beaucoup plus récente. Depuis l’ermitage, un passage dans le rocher conduit à un joli panorama sur la vallée du Doubs.
