Carl Czerny se narodil ve Vídni 21. února 1791 jako Karel Černý. Oba rodiče byli Češi a patřili do relativně početné komunity vídeňských českých emigrantů, a i malý Karel tak až do deseti mluvil pouze česky. Jeho otec Václav Černý byl klavírista a svého syna učil hrát už od tří let. V roce 1800 byl devítiletý Carl představen Ludwigu van Beethovenovi, který se po vyslechnutí jeho hry rozhodl chlapce přijmout jako studenta.
Czerny zůstal Beethovenovým studentem do roku 1804 a spolupracoval s ním i později jako asistent a interpret (hrál mimo jiné na premiérách Kvintetu pro klavír a dechové nástroje a Klavírního koncertu č. 5). Dokázal zahrát všechny Beethovenovy skladby zpaměti, čímž pravidelně bavil skladatelova mecenáše Knížete Lichnovského. Jeho poznámky a dopisy jsou důležitým historickým zdrojem o Beethovenově životě v tomto období – Czerny byl mimo jiné jedním z prvních lidí, kteří zaznamenali jeho nastupující hluchotu. Kromě Beethovena studoval klavír a kompozici i u Johanna Nepomuka Hummela a Antonia Salieriho.
Svou pedagogickou kariéru zahájil ve věku patnácti let a díky svým schopnostem a doporučení od Beethovena se rychle stal žádaným učitelem. Mezi jeho studenty patřili například Theodor Döhler, Sigismund Thalberg, Stephen Heller, Ludwigův synovec Karl van Beethoven nebo Theodor Leschetizky. Jeho nejslavnějším žákem byl maďarský skladatel Ferenc Liszt, jehož hra Czerného nadchla natolik, že se rozhodl mladého Ference vyučovat bez nároku na plat. Liszt mu tuto laskavost později vracel tím, že na svých recitálech uváděl mezinárodně prakticky neznámé Czerného kompozice a v roce 1852 mu věnoval své Transcendentální etudy.
Czerny byl velmi činným skladatelem, je autorem více než tisíce skladeb. V jeho tvorbě nalezneme především mše, rekviem, sonáty, symfonie i skladby pro sbor. Dobové reakce na jeho dílo byly převážně negativní – například Robert Schumann v recenzi pro časopis Neue Zeitschrift für Musik napsal: „Bylo by těžké dnes najít horší selhání představivosti, než jaké najdeme u Czerného.“ Dokonce i Ferenc Liszt, který na svých recitálech uváděl Czerného ranné skladby, se v dopise svému příteli Ottovi Jahnovi svěřil: „Mrzí mě, že kvůli té nesmírné plodnosti jeho tvorba oslabila, a nikdy znovu nedosáhl úrovně své první sonáty, kterou považuji za výborné a velmi důležité dílo.“ V pozdějších letech si Czerného kompozice našly své příznivce – například Igor Stravinskij ve své autobiografii napsal: „Pokud jde o Czerného, začal jsem si ho víc vážit jako skladatele a hudebníka než jen jako pozoruhodného pedagoga.“
Právě pedagogická tvorba však Carla Czerného proslavila po celém světě a zůstává uznávaná až do dnes. Kromě klavírních didaktických skladeb (mimo jiné Klavírní sonáty pro čtyři ruce a Etudy) vypracoval také inovativní pedagogickou metodiku, která zahrnovala přípravu hráče od úplných začátků až po vrcholné klavírní výkony. Ve své výuce kladl důraz zejména na rychlost, obratnost a sílu prstů, účelnost a pohodlnost prstokladu, pevnost a kontrolu úhozu, přesnost v dodržování dynamických znamének a důslednost v tempových změnách.
Významná je také jeho několikadílná teoretická práce Vollständige theoretisch-praktische Pianoforte Schule (Teoreticko-praktická klavírní škola), která zahrnuje i pojednání O správném provedení všech Beethovenových klavírních děl, jež bylo vysoce ceněné mezi klavíristy 19. století a zůstává důležitým historickým pramenem. Americký hudební magazín The Etude v roce 1927 otiskl ilustraci, podle které by Czerny měl být považován za otce moderní klavírní techniky.
Carl Czerny zemřel na rakovinu žaludku ve věku 66 let 15. července 1857. Do konce života se věnoval hudbě, několik hodin každý den komponoval a cvičil. Nikdy se neoženil a neměl žádné blízké příbuzné. Své nemalé jmění odkázal charitám, své hospodyni a vídeňské Společnosti přátel hudby.
