Né à Presbourg (aujourd'hui Bratislava) le 17 août 1806. Il est le quatrième et dernier enfant de Joseph, un modeste maître cordonnier, et de Polexina Failmar. Dès 12 ans il donne des cours et contribue à une partie du revenu familial. Le premier concert dont on a conservé la trace date du 2 juin 1834 et était organisé par Johann Nepomuk Hummel. Sans que l'on sache vraiment pourquoi, Mertz sera souvent prénommé Johann Kaspar (peut-être une confusion à partir des initiales J.K. reprises sur certaines éditions).