Die erste urkundliche Erwähnung des „Riesen“ stammt aus dem Jahr 1158. Diese bezog sich jedoch nicht auf den heutigen Renaissance-Fachwerkbau, sondern auf den gotischen Vorgängerbau, dessen Reste im heutigen Gebäude erhalten sind. Die erste erhaltene Urkunde stammt aus einem Gerichtsbuch von 1411 in der Conrad Trestram als Wirt aufgeführt ist.
Für den Um- und Ausbau des Gebäudes im Jahr 1589 wurden dem damaligen Besitzer Jost Virnhaber, 100 Eichenstämme durch den Stadtrat bewilligt. Der Fachwerkaufbau, der noch heute nahezu genauso erhalten ist, wurde vom Zimmermann Jakob Stoer 1590 errichtet.
Seit dem 19. Jahrhundert besitzt der „Riese“ zudem ein Braurecht, auf welches ein Brauerstern am Wirtshausschild noch heute hinweist.
Offenbar gönnte man den Gastwirten im „Riesen“ den wirtschaftlichen Erfolg nicht weshalb Gastwirt Lorenz Beck 1627 der Hexerei bezichtigt und zum Tode auf dem Scheiterhaufen verurteilt wurde. Dasselbe Schicksal ereilte 1629 auch dessen Vorgänger, Benedikt Stumpf, sowie dessen Frau.
Die Tochter Becks heiratete 1643 Leonhard Allemann, dessen Familie den Riesen bis 1732 bewirtschaftete. Ab 1898 wechselten häufig die Besitzer. Hülbig, der als Hotelier die Leitung des Gasthof bis 1920 übernahm, übergab diese später an seinen Sohn Oskar. Als Oskar Hülbig 1948 starb, war seine Frau Lina bis zum Abschluss der Hoteliersausbildung ihres gemeinsamen Sohnes Wolfgang Gastwirtin.
Werner Jöst übernahm den Riesen 1970, der sanierte ihn grundlegend und verpachtete diesen an eine Frankfurter Konzernbrauerei. Aufgrund fehlender Kundschaft schloss der Gasthof im Herbst 1999.
Im April 2001 verpachtete Jöst der Firma Sodenthaler die Gaststätte Riesen.
Das Gebäude steht heute unter Denkmalschutz.
