Atte Kilpeläisen musiikkiopinnot alkoivat Länsi-Uudenmaan musiikkiopistosta ja huipentuivat loppututkintoihin sekä Kölnin musiikkikorkeakoulusta että Sibelius-Akatemiasta. Elokuussa 2005 hän aloitti Helsingin kaupunginorkesterin alttoviuluryhmän äänenjohtajana. Solistitehtävissä hän on musisoinut mm. Antti Tikkasen, Jaakko ja Pekka Kuusiston sekä Gareth Lubben aisaparina. Syksystä 2006 lähtien hän on ollut Meta4:n jäsen.
Vuonna 2009 hän perusti vihtiläisten ystäviensä kanssa monitaideyhdistys Hämmentämön, jonka tarkoituksena on lisätä taiteiden välistä dialogia.
Atte Kilpeläinen soittaa Pohjola Pankin taidesäätiön omistamaa Guidantus-alttoviulua vuodelta 1737.