Jos od detinjstva volio je muziku i pjevanje. Od najstarijeg brata Ahmeta naučio je svirati na čifteliji i šargiji. Kao srednjoškolac bio je član KUD-a ,, Hajdar Duši“ u Peći od 1962. do 1968. godine. U pomenutom KUD-u bio je solista i pjevač izvornih albanskih, muslimanskih i crnogorskih pjesama.
Od 1969. do 1972. godine bio je član folklorne grupe ,,Daciće“ iz Rožaja, a od 1972. godine član KUD- a „Vrelo Ibra“ iz Rožaja , sa kojim je obišao mnoge zemlje Evrope, Azije i Afrike. Kao solista muslimanskih pjesama nastupao je sa KUD-om u Sarajevu 1972.godine u čuvenoj Skenderiji, u Novoj Varoši 1973.godine, zatim u Goraždu, Rogatici i Tunisu. Potom u Priboju 1974.godine na festivalu Medjurepubličke kulturno prosvjetne zajednice iz Pljevalja. Takodje je učestvovao na Republičkom festivalu u Ulcinju 1975. i 1976. godine, kao i u Ohridu istih godina.
U Janjini( Grčka )1976.godine i Libiji pjevao je na jednom od koncerata u Tripoliju u rezidenciji predsjednika Gadafija muslimanske pjesme uz čifteliju.
U Foči na Tjentištu 1976. godine učestvovao je sa ansamblom „Vrelo Ibra“, zatim u Novom Pazaru, Beranama, Bijelom Polju,Plavu, Gusinju i Cetinju više puta. Učestvovao je na Festivalu u Uroševcu (Ferizaj) i Gnjilanu gdje sa ansamblom osvaja prvu nagradu. Svojim nastupima nije zaobišao ni poznate koncertne dvorane kao što su : Sava centar i Dom sindikata u Beogradu, te Vatroslav Lisinski u Zagrebu. Bio je učesnik „Sandžačkog posijela“ u Vogošći kod Sarajeva, na kome su učestvovali i poznatu pjevači sevdalinki. Sa „Vrelom Ibra“ učestvovao je na svim republičkim festivalima Crne Gore.
U vremenu od punih 50 godina, prikupio je oko 200 pjesama zapisanih i sačuvanih u autentičnom obliku na šta je veoma ponosan i siguran da je to veliki uspjeh, a sve zahvaljujući ogromnom i kontinuiranom interesovanju.
Riječ je o gotovo zaboravljenom kulturnom nasljeðu narodnog stvaralaštva Muslimana, u kojem je i lirska narodna pjesma kao dio tog stvaralaštva, folklor i muzički instrumenti i dr. Bila bi neprocjenjiva šteta da se ne sačuva ovo blago. Velika mi je želja , kaže Balija, da dam svoj doprinos kulturi Muslimana, kako bi se ovo narodno bogatstvo sačuvalo od zaborava.
Nagradu Baliji Kurpejoviću uručio je potpredsjednik Savjeta Muslimana Murat Medjedović.
