„Einsiedelmann ist nicht zuhaus, dieweil es Zeit zu mähen“, so beginnt die fünfte Strophe des „Frankenliedes“, dessen Text aus der Feder von Victor von Scheffel stammt. Scheffel beschreibt darin, was er selbst bei einem Besuch auf dem Staffelberg erlebte: Er traf dort auf einen Eremiten, der die Klause bewohnte, sich um das Kirchlein sorgte und Gäste bewirtete. Für viele Jahre war die „Staffelbergklause“, die heute die Gastwirtschaft beherbergt, die Heimat für Männer, die sich in der Einsamkeit dem Gebet widmeten. Ein Blick in die Geschichte zeigt, wie viele Einsiedler auf dem Staffelberg ihren Dienst taten.
Schon im Jahr 1663 hören wir davon, dass der Bamberger Bürger Christoph Knauer ein Ansuchen an das Bamberger Domkapitel stellt, auf dem Staffelberg eine Klause zu errichten und darin als Eremit zu leben. Diesem Ansuchen wurde jedoch eine Absage erteilt. Ebenso erging es Johann König, der 1686 dasselbe Anliegen dem Domkapitel unterbreitete.
Durch die Unterstützung des Bamberger Domherrn Johann Philipp von Franckenstein konnte schließlich im Jahr 1696 mit Daniel Schmidt der erste Eremit auf dem Staffelberg Einzug halten. Schmidt war Sohn eines Bamberger Schmiedes und lebte auf dem Staffelberg in einer einfachen Unterkunft; bekleidet war er mit einem Habit, also dem Mönchsgewand.
Raubüberfälle auf die Klause und den Eremit
1721, just in der Nacht, in welcher der Bruder des Einsiedlers zu Gast war, wurde die Klause überfallen. Beide wurden schwer verwundet. Nur wenig später wurde die Klause erneut verwüstet, vermutlich wurde sogar versucht, die einfache Unterkunft des Eremiten in Brand zu stecken. Daraufhin stellte die Stadt Staffelstein kurzzeitig einige Wächter ab, um den Einsiedler zu schützen.

Der Gesundheitszustand von Schmidt verschlechterte sich zunehmend, sodass ihm 1723 ein Helfer zugeteilt wurde, der die Aufgaben des Mesners und der Bewirtung der Gäste übernahm. Am 2. Mai 1726 starb Schmidt; sein Nachfolger im Amt des Einsiedlers wurde Jakob Heß, der seinem Vorgänger bereits zur Hilfe gegangen war.
Über das Leben von Heß ist wenig bekannt. Er stammte wohl aus Niederösterreich und kam 1723 zur Unterstützung von Schmidt auf den Staffelberg. Die Lebensumstände des Klausners waren damals sehr widrig: Um das Nötigste zum Leben zu erhalten, musste der Einsiedler in den umliegenden Ortschaften betteln; einmal fehlte ihm sogar das nötige Brennholz für den Winter, welches er sich dann vom Bamberger Domkapitel erbitten musste. Mit dem Heiligen Grab, das bis heute in den Kartage in der Kapelle aufbaut wird, hat sich Heß ein nachhaltiges Denkmal geschaffen. Ab 1732 war auch Heß auf Helfer angewiesen, die den Einsiedler mit dem Nötigsten versorgten.
In der Nacht am Wegesrand erfroren
Die Todesumstände von Jakob Heß sind tragisch: Am 21. März 1766 war er auf dem Rückweg von der Abtei Langheim zum Staffelberg. Dabei ist er auf dem halben Weg, auf der Chaussee zwischen Langheim und Vierzehnheiligen, in der Nacht erfroren. Dort, wo man seinen Leichnam fand, steht heute das „weiße Kreuz“, das an den bitteren Tod des Einsiedlers erinnert.
Nachfolger von Heß wurde Melchior Friedrich Reuter (1724-1797), der das Amt allerdings nur bis 1769 innehatte. Als gelernter Apotheker kamen viele Menschen zu ihm und suchten seinen Rat, was den Badern von Staffelstein missfiel. Nach seiner Zeit als Klausner auf dem Staffelberg übernahm er die Apotheke in Banz. In der Einsiedelei hielt Bruder Arsenius Pfeiffer Einzug, ein Augustinerchorherr aus dem Bistum Mainz. Doch erregte der Bruder immer mehr das Missfallen des Staffelsteiner Stadtrates, sodass er bereits 1771 aufgefordert wurde, die Klause zu räumen.
Vom Eremit zum Lehrer geworden
Von 1772 bis 1787 wohnte der gebürtige Staffelsteiner Johann Thomas Walther als Eremit auf dem Staffelberg. Er regte unter anderem an, eine Zisterne zu errichten, um das mühsame Wasserholen zu erleichtern. Als er den Berg verließ, um als Lehrer in Staffelstein zu unterrichten, kam der Staffelsteiner Müllersohn Johann Georg Baierlipp auf den Staffelberg. Bis zu seinem Tod am 23. Mai 1811 wirkte er als Einsiedler.

In der Säkularisation um das Jahr 1803 kam auch das Wallfahrtswesen auf dem Staffelberg zum Erliegen. In dieser Zeit sollen sich vier Personen um die Kirche auf dem Staffelberg gekümmert haben. Erst, als die Wallfahrten Mitte des 19. Jahrhunderts wieder erlaubt waren, kam ein neuer Eremit auf den Staffelberg: Johann Hennemann, der weithin nur Ivo genannt wurde.
Autogrammstunden auf dem Staffelberg
Ivo wurde 1824 in Oberleiterbach geboren und 1857 in Vierzehnheiligen mit dem Franziskanerhabit eingekleidet. Im selben Jahr begann er seine Tätigkeit als Eremit auf dem Staffelberg. Als im Juli 1859 Victor von Scheffel die Klause besuchte und in seinem „Frankenlied“ über den „Einsiedelmann“ dichtete, erlangte Ivo Hennemann einige Berühmtheit. Viele Besucher kamen auf den Staffelberg, um den Einsiedler einmal live zu sehen, ein Foto von ihm zu schießen oder sich gar ein Autogramm von ihm zu holen.

Während Ivos Zeit wurde viel auf dem Staffelberg gebaut: Das Kirchlein erhielt einen Glockenturm, das Innere der Kapelle wurde restauriert, die baufällige Klause neu errichtet. Am 13. September 1900 ist Ivo schließlich in seinem Elternhaus in Oberleiterbach verstorben.
Dem berühmtesten Klausner des Staffelberges folgten noch drei weitere Eremiten nach: Von 1897 bis 1913 versah der Unterfranke Stefan Alois Kempf den Dienst, ihm folgte Valentin Mühe nach, der aus Landau in der Pfalz stammte. 1925 verließ er den Staffelberg. Für weitere vier Jahre kam Eduard Baier, ein gebürtiger Oberschlesier, auf den Berg, der aber bereits 1929 verstarb. Er war der letzte Eremit auf dem Staffelberg, eher die Bewirtung der Gäste an weltliche Gastwirte übergeben wurde.
Es wurden bereits damals zu viele Touristen
Das Ende der Einsiedler auf dem Staffelberg wurde vor allem durch den nicht enden wollenden Strom von Touristen eingeleitet. Ein Eremit zu sein heißt, sich in die Einsamkeit zurückzuziehen, um sich in der Stille dem Dienst des Gebetes zu widmen. Über viele Jahre hinweg scheint dies auf dem Staffelberg möglich gewesen zu sein.
Vermutlich änderte sich das mit der Prominenz, die Ivo Hennemann durch Victor von Scheffel erlangt hatte. Bereits um die Wende zum 20. Jahrhundert versuchte man, auf dem Staffelberg eine „Bierwirtschaft“ zu etablieren, in der auch Branntwein ausgeschenkt wurde. In der neuen Eremitage gab es sogar drei Fremdenzimmer. So weigerte sich auch das Bistum Bamberg nach dem Ableben von Eduard Baier, nochmals einen Eremiten für die Klause auf dem Staffelberg zu stellen. Die Zeit der Einsiedler auf dem Staffelberg hatte damit ein Ende erlangt.