Né à Tranent, Jim a grandi entouré de musique d'accordéon : son père et ses trois oncles étaient tous des joueurs réputés, se produisant régulièrement à la radio. Jim lui-même a commencé à prendre des cours à l'âge de neuf ans. Une formation technique rigoureuse dans le répertoire classique a été complétée par un régime de musique folk à la maison.

En quelques années, il a formé son premier groupe, avec son ami et collègue de toujours Bobby Colgan à la batterie, prenant d'abord quelques concerts que son père n'était pas capable de jouer, mais commençant bientôt à se faire un nom à part entière. Jim a travaillé avec le groupe familial pendant plusieurs années, rejoignant ensuite brièvement l'illustre groupe alors dirigé par Andrew Rankine, avant de réunir sa propre formation en 1963.

Deux ans plus tard, Jim rejoint la troupe de Jimmy Shand, accompagnant le plus grand accordéoniste écossais de tous les temps lors de ses tournées historiques en Australie et en Nouvelle-Zélande.