Su familia era muy modesta y su padre se ganaba la vida como músico en las tabernas de Hamburgo. Johannes empezó a mostrar muy pronto grandes cualidades para la música y solía acompañar a su padre tocando el violín  e interpretando la música de moda en ese momento, especialmente de baile.

Estudió piano y se convirtió en un magnífico pianista aunque su auténtica vocación era la composición. Tras conocer a Robert Schumann y a su esposa Clara, quienes reconocieron su joven talento, recibió un gran apoyo a su carrera y establecieron una amistad que duró para siempre.

En 1862 se instaló en Viena, capital musical europea y desarrolló su estilo personal que en principio se había centrado en la producción de obras para piano, para posteriormente abordar las grandes formas instrumentales, como sinfonías, cuartetos y quintetos. Curiosamente nunca compuso ni poemas sinfónicos ni óperas tan de moda en el romanticismo, aunque son sus lieders un modelo de inspiración romántica.