A onze ans il donne son premier concert et entre au conservatoire en classe d'orgue à l'âge de treize ans. Il suit également des cours de composition dans la classe de Jacques Fromental Halévy, et rencontre Franz Liszt pour la première fois à cette époque.
A 25 ans, il suscite l'admiration de Liszt, Berlioz et Bülow et créée, en 1877, l'opéra Samson et Dalila à Wejmar, avec l'appui de Liszt.
Professeur de piano à l'école Niedermeyer où il enseigne notamment à Fauré et Messager, il participe à la fondation de l'Ecole Nationale de Musique qui défend la jeune musique instrumentale française. Dans ses compositions il aborde aussi bien les genres religieux que profanes, s'inspire de tous les styles et compose aussi bien pour les formations vocales qu'instrumentales.