Jim McKillop est né à Cushendall dans les Glens d'Antrim. Dès son plus jeune âge, il a eu envie de jouer de la musique et a commencé à jouer de l'accordéon, puis plus tard de la guitare et du banjo. À 26 ans, il a commencé à s'intéresser au violon. Quatre ans plus tard, et sans aucun enseignement formel, il a remporté les titres seniors de Fleadh Cheoil na hEireann, Fiddler of Aileach et Fiddler of Oriel.

Jim voulait explorer les exigences techniques en matière de sonorité, de timbre et maximiser la pleine capacité musicale de son instrument. Il est en grande partie responsable de l'élévation de la brillance technique du violon dans le contexte de la musique traditionnelle.

Il n’y a personne parmi ceux qui ont assisté à un fleadh cheoil pendant près d’un demi-siècle qui n’ait pas vu le grand homme debout dans la rue, jouant pendant des heures et procurant tant de plaisir à tant d’auditeurs, de musiciens en herbe et d’amateurs du grand violon traditionnel irlandais.