Han blev uddannet fra Harvard University i 1889 og blev ansat i sin fars bankfirma, J.P. Morgan and Company, i 1892 og arbejdede i firmaets filial i London i otte år. Han efterfulgte sin far som leder af firmaet i 1913 ved dennes død og blev arving til en ejendom på mere end 50.000.000 dollars.

Morgan havde udviklet en dyb kærlighed til England under sit ophold der. Som følge heraf blev han i løbet af de første tre år af Første Verdenskrig den eneste indkøbsagent i USA for den britiske og franske regering og købte militære og andre forsyninger til en værdi af ca. 3.000.000.000.000 dollars fra amerikanske firmaer på vegne af disse lande. For at finansiere de fransk-britiske behov for kreditter i USA organiserede han mere end 2.000 banker til at garantere i alt mere end 1.500.000.000.000 dollars i allierede obligationer. Efter krigens afslutning optog hans firma lån for i alt mere end 10.000.000.000.000 dollars til genopbygningsarbejde i Europa. Selv om J.P. Morgan, Jr. ikke var den dominerende, mesterlige personlighed, som hans far havde været, var han stadig den vigtigste amerikanske finansmand i sin tid.

Under aktiekrakket i oktober 1929 samlede Morgan og flere andre store bankfolk deres midler og forsøgte at dæmme op for aktiekursernes fald, men uden held. I 1933 tvang bankloven fra samme år hans firma til at adskille sine investeringsbankaktiviteter fra sine kommercielle (indlåns)bankaktiviteter. Følgelig blev Morgan, Stanley and Company et nyt investeringsbankfirma, mens Morgan selv forblev leder af J.P. Morgan and Company, som herefter udelukkende blev et kommercielt bankfirma.