Gegen Ende des 12. Jahrhunderts wurde die Mildenburg durch den Mainzer Erzbischof errichtet, zur Sicherung der östlichen Grenzen seines Einflussbereichs. Urkundlich erstmals erwähnt wurde die Burg 1226.
Der 27 Meter hohe Bergfried wurde aus Buckelquadern erbaut und ist der älteste Teil der Anlage. Angelegt wurde er an der meistgefährdeten Seite, dem ansteigenden Hang gen Süden. Das heutige Wohngebäude wurde 1390 bis 1396 durch Erzbischof Konrad von Weinsberg begründet. 1525 wurde die Burg während der Bauernkriege eingenommen und anschließend im zweiten Marktgrafenkrieg 1552 erneut eingenommen und zerstört. Nach der Zerstörung wurde sie durch Erzbischof Daniel Brendel von Homburg teilweise wieder aufgebaut. Bis ins 18. Jahrhundert diente sie als Sitz der erzbischöflichen Burggrafen.
1803 fiel die Burg an die Fürsten von Leinigen und ging anschließend, 1807, in Privatbesitz über, wo sie bis 1979 verblieb. Eigentümer waren unter anderem Friedrich Gustav Hebel und Wilhelm Conrady. 1908 ging sie durch Kauf an die Familie von Normann-Loshausen. Daraufhin folgten zahlreiche Umbau- und Modernisierungsmaßnahmen. 1943 ging die Burg an die Erben der Normann-Loshausens, die Familie Bock von Wülfingen. 1979 erwarb die Stadt Miltenberg die Anlage.
Seit 2011 ist die Burg wieder für die Öffentlichkeit geöffnet und beherbergt eine Ausstellung zu Ikonen und moderner Kunst der Kunstsammlungen der Diözese Würburg.
Im Museum werden verschiedene Workshops und Führungen angeboten. Das genaue Programm finden sie hier.
Für Führungen können Öffnungszeiten außerhalb der regulären Museumsöffnung nach vorheriger Anfrage vereinbart werden.
