Han utexaminerades från Harvard University 1889 och blev medlem av sin fars bankfirma, J.P. Morgan and Company, 1892, och arbetade på firmans filial i London i åtta år. Han efterträdde sin far som chef för företaget 1913 vid dennes död och blev arvtagare till en egendom på mer än 50 000 000 dollar.

Morgan hade utvecklat en djup tillgivenhet för England under sin vistelse där. Som en följd av detta blev han under de tre första åren av första världskriget den enda inköpsagenten i USA för de brittiska och franska regeringarna och köpte militära och andra förnödenheter till ett värde av omkring 3 000 000 000 000 dollar från amerikanska företag för dessa länders räkning. För att finansiera de fransk-brittiska kraven på krediter i USA organiserade han mer än 2 000 banker för att teckna allierade obligationer för sammanlagt mer än 1 500 000 000 000 dollar. Efter krigsslutet gav hans företag lån på sammanlagt mer än 10 000 000 000 dollar för återuppbyggnadsarbete i Europa. Även om J.P. Morgan Jr. inte var den dominerande och mästerliga personlighet som hans far hade varit, var han ändå den viktigaste amerikanska finansmannen på sin tid.

Under börskraschen i oktober 1929 samlade Morgan och flera andra stora bankirer sina medel och försökte hejda aktiekursernas nedgång, men utan resultat. År 1933 tvingade banklagen från samma år hans företag att separera sin investeringsbanksverksamhet från sin kommersiella (inlånings) bankverksamhet. Följaktligen blev Morgan, Stanley and Company ett nytt investmentbankföretag, medan Morgan själv förblev chef för J.P. Morgan and Company, som från och med nu enbart blev ett affärsbankföretag.