Der Legende nach hauste in einer Kalkhöhle hoch über dem Doubs gegen Ende des 6. Jahrhunderts ein irischer Mönch, um in der Region den christlichen Glauben zu verbreiten. Hirten und Jäger suchten seine Nähe und siedelten sich in der Umgebung des heiligen Ursicinus an. Nach seinem Namen soll denn auch die um 619 nach Christus gegründete Ortschaft entstanden sein.
Wer am steilen Abhang nördlich der Stiftskirche die fast 200 Treppenstufen hochsteigt, begegnet in der verschlossenen Grotte einer Statue des schlafenden Eremiten. Dargestellt ist auch ein kleiner Bär, der offenbar Teil der Wohngemeinschaft war. Zum Denkmal der Einsiedelei gehören zudem eine vor rund 400 Jahren wieder aufgebaute Kapelle im nachgotischen Stil sowie ein deutlich jüngeres Steinkreuz. Von der Eremitage aus ermöglicht ein Felsdurchgang einen schönen Ausblick ins Tal des Doubs.
