Powstał w 1951 roku z inicjatywy pedagoga, muzyka i pasjonata w jednej osobie – Józefa Suwary. Repertuar wówczas blisko 70-osobowego chóru chłopięcego obejmował utwory oratoryjne i a cappella, głównie kompozytorów polskich. W 1967 roku opiekę nad zespołem powierzono (na kolejnych 28 lat) asystentce profesora – Bronisławie Wietrzny. W okresie tym zespół wykonywał nowopowstające dzieła Krzysztofa Pendereckiego (Pasja wg św. Łukasza, Jutrznia, Magnificat), koncertując w wielu krajach Europy, a także w Libanie i Iranie. Za nagranie płyty z Pasją wg św. Łukasza chór otrzymał nagrodę Grand Prix du disque. W latach 1991–1993 chór prowadził Stanisław Krawczyński. Od 1993 roku dyrygentem i kierownikiem zespołu jest Lidia Matynian.
Obok wymienionych dzieł K. Pendereckiego, w repertuarze zespołu znajdują się: Credo (prawykonanie europejskie 1998 r.), Benedictus (prawykonanie 2003 r.) oraz wielkie dzieła wokalno-instrumentalne J.S. Bacha, B. Brittena, G.F. Haendla, A. Honeggera, C. Orffa, G. Mahlera. Chórzyści występują w salach filharmonicznych, w kościołach, dla szkół i podczas koncertów charytatywnych, prezentując rozmaity repertuar, w tym utwory dedykowane zespołowi – Pawła Moszumańskiego i Wojciecha Widłaka.
Chór był wielokrotnie zapraszany do współpracy przez polskie orkiestry jak NOSPR, Orkiestra Filharmonii Narodowej, Capella Cracoviensis, Sinfonia Varsovia, Orkiestra Filharmonii Szczecińskiej, Orkiestra Akademii Beethovenowskiej. Uczestniczył w festiwalach: Vratislavia Cantans, Warszawska Jesień, Muzyka w Starym Krakowie, Festiwal Muzyki Polskiej, Festiwal Muzyki Filmowej oraz festiwalach zagranicznych. W latach 1997–2008 chórzyści występowali w spektaklach Opery Krakowskiej: G. Pucciniego Cyganeria i Tosca oraz E. Humperdincka Jaś i Małgosia.
W ramach projektu Kraków 2000 zespół brał udział w wykonaniu odnalezionego w Hiszpanii średniowiecznego dzieła Codex Calixtinus. Brał również udział w koncertach jazzowych, m.in. na rzecz Wielkiej Orkiestry Świątecznej Pomocy Jerzego Owsiaka. Chór śpiewał na Błoniach Krakowskich, żegnając św. Jana Pawła II, a w I rocznicę śmierci uczestniczył w prawykonaniu kantaty jazzowej Joachima Mencla Miłość mi wszystko wyjaśniła do poezji Karola Wojtyły.
Zespół współpracował z Jackiem Wójcickim, Grzegorzem Turnauem, Zbigniewem Wodeckim. Brał udział w prawykonaniu Requiem dla mojego przyjaciela oraz w nagraniu ścieżki dźwiękowej do filmu Tajemniczy ogród Agnieszki Holland i kolęd Zbigniewa Preisnera.
Po 70 latach działalności zespołu, otwierając się na oczekiwania rodziców i dzieci, Chór Chłopięcy Filharmonii Krakowskiej poszerzył swoją działalność i oficjalnie ogłosił nabór do nowo powstałej sekcji dziewczęcej.