Die kulturgeschichtliche Bedeutung der Hirsch’schen Zuckerfabrik ist unstrittig. Strittig ist jedoch, welche Gebäude des ausgedehnten Anwesens, das der bedeutende jüdische Unternehmer und Pionier der Industrialisierung in Franken Joel Jakob von Hirsch 1837 errichtete, es tatsächlich wert sind, als Baudenkmal erhalten zu bleiben. Aus Sicht einer breiten Mehrheit im Rottendorfer Gemeinderat sowie der Eigentümer trifft dies lediglich auf das dreigeschossige aus Sandsteinquadern errichtete Haupthaus zu.
Für die Fachleute vom Bayerischen Landesamt für Denkmalschutz sind auch das viergeschossige Lagerhaus, das angrenzende Wohnhaus, die Hofmauer und die Scheune bedeutende Zeugen „für die frühe Industrialisierung der Nahrungsmittelherstellung und Landwirtschaft in Franken“.
Bereits im vergangenen Herbst hatte sich der Gemeinderat seinem „gemeindlichen Benehmen“, das für die Aufnahme in die Denkmalliste durch das Landesamt formal nötig ist, versperrt, nun hat auch die neugewählte Gemeindevertretung ihre Zustimmung vorerst verweigert. Die Räte sehen sich nicht ausreichend informiert. In einem zusätzlichen Ortstermin mit den Denkmalschützern wollen sie die Gründe für die Aufnahme in die Denkmalliste nochmals erklärt bekommen. Klaus Hofstätter (CSU), regte zudem an, möglichst frühzeitig Politiker einzubinden, um möglichst frühzeitig Fördermöglichkeiten zu ermitteln.
Besonders an der jüngeren, erst kurz nach 1865 auf der gegenüberliegenden Seite der Schulstraße errichteten Scheune entzündet sich die Kritik. Die 50 Meter lange, ebenfalls aus Sandsteinquadern errichtete Scheune steht einer weiteren Entwicklung des Ortes im Weg. Zudem erschließt sich im Gegensatz zum stattlichen Hauptgebäude mit seiner im Stil der Neu-Renaissance gestalteten Fassade keineswegs auf den ersten Blick, warum die Scheune als Baudenkmal erhaltenswert ist. Aus Sicht der Verwaltung gibt es Gründe, die dagegen sprechen. So haben frühere Eigentümer die Scheune im Zuge der Technisierung der Landwirtschaft mehrfach umgebaut. Der Dachstuhl ist nicht mehr erhalten, in die Wände haben spätere Nutzer weitere Tore gebrochen. Auch die Nutzung eines Teils als Getränkemarkt hat ihre Spuren hinterlassen. Seit wenigen Jahren befindet sich auf dem Satteldach eine Solaranlage.
Die Denkmalschützer haben schriftlich mitgeteilt, dass sie nicht gewillt sind, die Scheune von der Liste zu nehmen. Dies sei „denkmalfachlich“ nicht möglich, so ein Schreiben. Die gleich nach der Schließung der Zuckerfabrik 1865 errichtete Scheune sei in ihrer am „zeitgenössischen Industriebau orientierten Gestaltung und Dimension“ ein „wichtiger Bestandteil“ des Gutes. Allerdings ist die Aufnahme in die Denkmalliste noch keine Garantie dafür, dass die Gebäude auch tatsächlich unbeschadet erhalten bleiben. Erst in dem nachfolgenden denkmalrechtlichen Genehmigungs- und Erlaubnisverfahren erfolgt eine Abwägung des „Erhaltungsinteresses der Allgemeinheit“ und die „Privaten Belange“ gegeneinander abgewogen werden.