Hij studeerde in 1889 af aan de Harvard University en werd in 1892 lid van het bankiersbedrijf van zijn vader, J.P. Morgan and Company, waar hij acht jaar lang in het Londense filiaal werkte. In 1913 volgde hij zijn vader op als hoofd van de firma en werd erfgenaam van een nalatenschap van meer dan $50.000.000.

Morgan had tijdens zijn verblijf in Engeland een diepe genegenheid voor Engeland ontwikkeld. Als gevolg daarvan werd hij gedurende de eerste drie jaar van de Eerste Wereldoorlog de enige inkoper in de Verenigde Staten voor de Britse en Franse regeringen, en kocht hij voor die landen voor ongeveer $3.000.000.000 aan militaire en andere goederen van Amerikaanse bedrijven. Om de Frans-Britse behoefte aan kredieten in de Verenigde Staten te financieren, organiseerde hij meer dan 2.000 banken om in totaal voor meer dan 1.500.000.000 dollar aan geallieerde obligaties te garanderen. Na het einde van de oorlog verstrekte zijn firma leningen voor een totaal van meer dan $10.000.000.000 voor de wederopbouw van Europa. Hoewel niet de dominante, meesterlijke persoonlijkheid die zijn vader was geweest, was J.P. Morgan, Jr. nog steeds de belangrijkste Amerikaanse financier van zijn tijd.

Tijdens de beurskrach van oktober 1929 bundelden Morgan en enkele andere grote bankiers hun fondsen en probeerden de daling van de aandelenkoersen te stuiten, maar tevergeefs. In 1933 dwong de Banking Act van dat jaar zijn bedrijf om zijn investeringsbankactiviteiten te scheiden van zijn commerciële (deposito-)bankactiviteiten. Morgan, Stanley and Company werd een nieuw investeringsbankbedrijf, terwijl Morgan zelf aan het hoofd bleef staan van J.P. Morgan and Company, dat vanaf dat moment een strikt commercieel bankbedrijf werd.