V roce 1889 absolvoval Harvardovu univerzitu a v roce 1892 se stal členem bankovní firmy svého otce, J.P. Morgan and Company, a osm let pracoval v její londýnské pobočce. Po smrti svého otce v roce 1913 nastoupil do čela firmy a stal se dědicem majetku v hodnotě více než 50 000 000 dolarů.

Morgan si během svého pobytu v Anglii vypěstoval hluboký vztah k této zemi. V důsledku toho se během prvních tří let první světové války stal jediným nákupním agentem britské a francouzské vlády ve Spojených státech a jménem těchto zemí nakoupil od amerických firem vojenské a jiné dodávky v hodnotě přibližně 3 000 000 000 dolarů. K financování francouzsko-britských požadavků na úvěry ve Spojených státech zorganizoval více než 2 000 bank, které upsaly spojenecké dluhopisy v celkové hodnotě více než 1 500 000 000 USD. Po skončení války jeho firma poskytla úvěry v celkové výši více než 10 000 000 000 USD na obnovu Evropy. Ačkoli J. P. Morgan mladší nebyl tak dominantní a mistrovskou osobností jako jeho otec, přesto byl nejvýznamnějším americkým finančníkem své doby.

Během burzovního krachu v říjnu 1929 Morgan a několik dalších významných bankéřů shromáždili své prostředky a snažili se zastavit pokles cen akcií, ale bez úspěchu. V roce 1933 přinutil zákon o bankovnictví z téhož roku jeho firmu, aby oddělila své aktivity v oblasti investičního bankovnictví od aktivit v oblasti komerčního (vkladového) bankovnictví. Z Morgan, Stanley and Company se proto stala nová investiční bankovní společnost, zatímco sám Morgan zůstal v čele J. P. Morgan and Company, která se od té doby stala výhradně komerční bankovní společností.