Der erste Rathausbau war der aufstrebenden Stadt zu klein und unbedeutend geworden. Es wurde bei Baubeginn des Domturms 1415 abgerissen. Der Rat der Stadt erhielt schon 1329 das Privileg für den Neubau eines Rathauses, aber durch den Neubau der Stadtbefestigung nach 1333 und die hohen Lösegeldforderungen, die nach der Schlacht bei Kronberg (1389) bezahlt werden mussten, wurde ein Neubau immer wieder aufgeschoben. So entschloss sich der Rat der Stadt 1405 zwei Häuser zu kaufen. Seit dem 11. März 1405 befinden sich die Häuser Römer und Goldener Schwan im Besitz der Stadt. Im Erdgeschoss entstanden große Hallen, die zu Messezeiten vermietet wurden. Für den Namen des Rathauses gibt es verschiedenen Erklärungen: Eine besagt, dass der Kaufmann, der hier lebte, bis das Gebäude in städtischen Besitz kam, hauptsächlich mit Rom und Italien Handel betrieb.
