Cooley est né à Peterswell, dans le comté de Galway, en 1924. Ses deux parents étaient des mélodéonniers et Joe a commencé à jouer de l'accordéon à l'âge de 10 ans. Adolescent, Joe a joué dans la région des Midlands et s'est finalement retrouvé à Dublin en 1945, où il a rejoint le Galway Rovers Band. À Dublin, il a rencontré les musiciens Sonny Brogan et Johnny Doran, qui ont tous deux influencé le style musical de Cooley.

Il fut l'un des premiers membres du Tulla Céilí Band lorsqu’ils remportèrent le concours de ceili band à Féile Luimní en 1946. Il joua avec le Tulla lors de leur première émission pour Radio Éireann en 1948. Il joua également souvent avec le violoniste de Galway Joe Leary.

Il est considéré comme l'un des accordéonistes irlandais les plus accomplis et les plus influents. À une occasion, à Miltown Malbay, dans le comté de Clare, Joe s'est vu offrir un magnifique accordéon Paolo Soprani en Do#/Ré qu'il a surnommé "The Box" et qui l'accompagnera lors de sa tournée américaine dans les années 1970.