Fiddlin John Carson est né près de McCaysville dans le comté de Fannin, en Géorgie. À l'adolescence, Carson a appris à jouer du violon, en utilisant un vieux violon Stradivarius copié apporté d'Irlande au début du XVIIIème siècle.

Il a gagné sa vie en tant qu'agriculteur, ouvrier ferroviaire, jockey de chevaux et contrebandier avant que son talent de musicien ne soit découvert. Au printemps 1922, alors âgé de cinquante-quatre ans, il devint l'un des premiers musiciens country authentiques à diffuser de la musique country sur une station de radio. Un an plus tard, le 14 juin 1923, Carson enregistra son premier disque, qui se vendit rapidement et renforça l'intérêt national pour la musique rurale du Sud.