Er ging zurück nach Ungarn, einem Land, das wie er sagt vom Musikalischen her eine Menge Öl in seinem Erdboden hat, nach dem noch keiner gebohrt hat, und gründete 1983 das Budapest Festival Orchestra, um diejenigen Änderungen durchzusetzen, die er als notwenig erkannt hatte.
Fischer ist in einer sehr musikalischen Familie aufgewachsen, in der die Tradition besagte, dass nur Pianisten (wie sein Bruder) gute Dirigenten werden können. Er indessen wechselte vom Klavier zunächst zur Geige und dann zum Cello. Zum Studium ging er nach Wien und schloss sein Diplom in der berühmten Dirigierklasse von Hans Swarowsky ab – nach einer recht unkonventionellen Kombination von musikalischen Fächern: Cello, Frühe Musik (mit Nikolaus Harnoncourt) und Dirigieren.
Der erste Preis beim Wettbewerb der BBC/Rupert Foundation, den er mit 25 gewann, startete Fischers internationale Karriere mit Einladungen bei den grossen Orchestern wie den Berliner Philharmonikern, dem Royal Concertgebouw, der London Symphony, dem New York Philharmonic, dem Israel Philharmonic und dem Cleveland Orchestra. Er war musikalischer Leiter der Northern Sinfonia of England (1979-1982), der Kent Opera (1984-1989) und erster Gastdirigent des Cincinnati Symphony Orchestra (1989-1996). Er ist seit 2001 Musikdirektor in der Oper von Lyon in Frankreich.
1995 unterschrieb das Budapest Festival Orchestra mit Fischer einen Exklusivvertrag für Philips.
