Jaroslav Mihule se narodil 1. prosince 1930 v Praze do hudební rodiny. Hudbě se věnoval už jako dítě, měl absolutní sluch. V roce 1944 nastoupil na Amerlingův mužský ústav učitelský, od roku 1945 pokračoval na Benešově reformním reálném gymnáziu, posléze na klasickém Akademickém gymnáziu v Praze 2, kde v roce 1949 složil maturitní zkoušku.
Hře na klavír se učil nejprve u profesorky Hany Králíkové-Slavkovské, na Pražské konzervatoři pak u profesorů Albína Šímy a Anny Dolinské. Dále studoval bohemistiku na Filozofické fakultě Univerzity Karlovy a hudební výchovu na Pedagogické fakultě, absolvoval v roce 1953. Skladbu a dirigování pak studoval na pražské Státní konzervatoři u profesora Františka Píchy.
Začínal jako korepetitor a skladatel u Československého státního souboru písní a tanců. Na Institutu tělesné výchovy a sportu Univerzity Karlovy vyučoval hudební nauku, uplatnil se zde též jako klavírista a zkomponoval skladby na spartakiádu. Posléze se věnoval muzikologii. Přes tituly jako PhDr., CSc., docent a profesor se v roce 1998 stal emeritním profesorem. Podílel se na vzniku mnoha učebnic. V letech 1990–1994 působil jako prorektor na Univerzitě Karlově a přednášel dějiny hudby. Stal se prvním velvyslancem České republiky v Nizozemsku. V této funkci působil v letech 1994–1997.
Byl odborníkem na Bohuslava Martinů, jehož díla propagoval například na londýnské Guild Hall School či budapešťské Central European University. Byl iniciátorem vzniku Společnosti Bohuslava Martinů, dále pak členem správní rady Fondation Martinů, místopředsedou rady Nadace Bohuslava Martinů a členem mnoha významných společností.
V roce 2023 získal cenu ministerstva kultury za přínos v oblasti hudby.
