Ruby Harris a marqué de son empreinte musicale dans de nombreux genres. Il est l'un des membres fondateurs du Diaspora Yesiva Band, le premier groupe à fusionner musique juive et rock'n'roll.

Harris a fréquenté une école d'art, puis la Manhattan School of Music, où il s'est concentré sur la formation classique. À la même époque, il a suivi des cours avec John Cage, mais il s'est davantage intéressé à la musique traditionnelle. Après ses études, il a traversé les États-Unis en auto-stop à six reprises avant de se rendre en Irlande, en France, en Italie et enfin en Israël, s'initiant à la musique traditionnelle de chaque pays.

Depuis, il a joué au sein de groupes de bluegrass et irlandais, aux côtés de légendes de la musique et devant des têtes couronnées. Aujourd'hui, il est l'un des fondateurs du groupe de jazz et de klezmer de Chicago, Jazmer, et du Ruby Harris Electric Violin Blues Band, au sein duquel il joue du blues sur un violon ancien électrifié. Il joue également de la mandoline et de la guitare, mais son premier instrument était l'harmonica.