Man braucht etwas Fantasie, um sich heute die Kaiserpfalz Gelnhausen inmitten ihrer Reste als ein Machtzentrum des damals riesigen Heiligen Römischen Reiches vorzustellen. Unter der Herrschaft der Kaiser Friedrich I. Barbarossa (um 1122-1190) und Heinrich VI. (1156-1197) reichte es von der Nord- und Ostsee bis an die Küsten des Mittelmeeres. Mit den beiden wichtigsten Vertretern der Staufer-Dynastie, ihrer Wirtschafts- und Kulturförderung erlebte Gelnhausen einen kräftigen Aufschwung. Dort wurde regiert, doch stets nur vorübergehend: Mangels fester Residenzen zogen noch im 12. Jahrhundert Könige (meist auch zu Kaisern gekrönte) samt Hofstaat von einer Niederlassung zur nächsten. Als solche Station ließ Barbarossa (ital. Rotbart) um 1169/70 auf einer Kinziginsel eine Wasserburg gründen, die verkehrsgünstig an der Handelsstraße Via Regia lag, und fasste drei zu einer Stadt erhobenen Siedlungen (darunter „Geilenhusen“) zusammen.
Neben der Ruine des Palas sind ein viereckiger Torturm und eine zweischiffige Torhalle erhalten, über der sich Relikte einer Kapelle befinden. Ein Küchenbau ging verloren, ebenso Wohn- und Wirtschaftsgebäude, und ein Bergfried im Hof wurde wohl nie vollendet. Eine hohe Buckelquader-Mauer umgab den Komplex. Wenngleich man nur noch Überreste vorfindet: Unter den deutschen Stauferburgen ist die Architektur und Bauplastik der Gelnhäuser Pfalz mit oberrheinisch-elsässischen und südfranzösischen Formen die künstlerisch edelste. Höhepunkt ist die Ornamentik der Palas-Hoffassade mit Kleeblattbogenportal und gestaffelten Arkaden, wo kein Säulenkapitell dem anderen gleicht. Doch mit dem Ende der Staufer und dem System von Pfalzen im 13. Jahrhundert verlor die Anlage ihre Bedeutung. Ein langer Schwund setzte ein, beschleunigt durch die Nutzung als Steinbruch. Erst zur Mitte des 19. Jahrhunderts sicherte man die Burg gegen Verfall und Zerstörung.
