Nach dem Besuch des Gymnasiums studierte Graf ab 1949 an der Würzburger Julius-Maximilians-Universität Rechtswissenschaft. Anschließend absolvierte er seine Referendarzeit und wurde Regierungsassessor bei der Regierung von Unterfranken. 1958 heiratete er seine Frau Christel, mit der er zwei Söhne und eine Tochter hatte.
Im November 1959 kam Graf als Regierungsrat ans Landratsamt Lohr. Von dort wurde er im Februar 1963 zur Regierung von Oberfranken nach Bayreuth versetzt. Allerdings war dies nur ein wenige Monate dauerndes Zwischenspiel. Denn als es darum ging, einen Nachfolger für den Lohrer Bürgermeister Dr. Ignaz Nebel zu finden, erinnerte sich die CSU an den jungen Regierungsrat Graf. Sie stellte ihn als ihren Kandidaten auf und Graf setzte sich bei der Wahl gegen Stadtkämmerer Anton Lang durch, den gemeinsamen Kandidaten von SPD, Bürgerverein und FDP. 1970, 1972 (nach den Eingemeindungen verschiedener Ortschaften), 1978 und 1984 wurde Graf jeweils mit deutlichen Mehrheiten wiedergewählt.
Wegen innerparteilicher Machenschaften, die für Lohr zum Verlust des Kreissitzes geführt hatten, trat Graf 1973 zusammen mit den Lohrer Stadt- und Kreisräten der CSU aus der Partei aus und wurde Mitbegründer Main-Spessart-Union.
Zu den zahlreichen Maßnahmen, die in der Amtszeit von Bürgermeister Graf in Lohr durchgeführt wurden, gehören: Fertigstellung der Umgehungsstraße (1964), Neubau der Gesamtkläranlage (1966), Bau der Turnhalle Weisenau mit Lehrschwimmbecken (1966), Bau der neuen Mainbrücke und der Osttangente (1972 bis 1979), Umbau der Stadthalle (1974), Bau des Parkdecks am alten Stadtbahnhof (1976/1977), Errichtung der Fußgängerzone (1977/78), Grundschul-Neubau in Sendelbach (1980 bis 1983), Bau einer neuen Feuerwache (1984 bis 1986), Bau des neuen Rathauses (1984 bis 1986), Bau des Altstadtparkhauses (1985 bis 1988), Umbau des alten Rathauses für Stadtbibliothek und Volkshochschule (1989/1990). Darüber hinaus wurde in den 1980er Jahren das Industriegebiet Lohr-Süd erschlossen.
Graf war aber nicht nur 27 Jahre lang Bürgermeister von Lohr; er gehörte auch 24 Jahre lang dem Kreistag an (1966 bis 1990). Außerdem arbeitete er im Bayerischen und Deutschen Städtetag mit.
In seiner letzten Amtsperiode war Graf bereits gesundheitlich beeinträchtigt. Deshalb verzichtete er 1990 auf eine erneute Kandidatur. 2004 erlitt er im Urlaub auf Gran Canaria einen Schlaganfall. Davon hat er sich nie wieder ganz erholt.