A absolvit Universitatea Harvard în 1889 și a devenit membru al firmei bancare a tatălui său, J.P. Morgan and Company, în 1892, lucrând în filiala londoneză a firmei timp de opt ani. I-a succedat tatălui său la conducerea firmei în 1913, la moartea acestuia din urmă, devenind moștenitorul unei averi de peste 50.000.000 de dolari.

Morgan a dezvoltat o afecțiune profundă pentru Anglia în timpul șederii sale acolo. În consecință, în primii trei ani ai Primului Război Mondial, el a devenit singurul agent de achiziții din Statele Unite pentru guvernele britanic și francez, cumpărând de la firmele americane, în numele acestor țări, bunuri militare și de altă natură în valoare de aproximativ 3.000.000.000.000 de dolari. Pentru a finanța necesarul franco-britanic de credite în Statele Unite, a organizat peste 2.000 de bănci pentru a subscrie un total de peste 1.500.000.000 de dolari în obligațiuni aliate. După încheierea războiului, firma sa a acordat împrumuturi în valoare totală de peste 10.000.000.000.000 de dolari pentru lucrările de reconstrucție a Europei. Deși nu mai era personalitatea dominantă și magistrală pe care o avusese tatăl său, J.P. Morgan, Jr. a fost totuși cel mai important finanțist american al vremii sale.

În timpul prăbușirii bursei din octombrie 1929, Morgan și alți câțiva bancheri importanți și-au unit fondurile și au încercat să oprească declinul prețurilor acțiunilor, dar fără succes. În 1933, Legea bancară din acel an a obligat firma sa să își separe activitățile bancare de investiții de activitățile bancare comerciale (de depozit). În consecință, Morgan, Stanley and Company a devenit o nouă firmă bancară de investiții, în timp ce Morgan însuși a rămas la conducerea J.P. Morgan and Company, care de atunci încolo a devenit strict o firmă bancară comercială.