Er schloss 1889 sein Studium an der Harvard University ab und trat 1892 in das Bankhaus seines Vaters, J.P. Morgan and Company, ein, wo er acht Jahre lang in der Londoner Niederlassung des Unternehmens arbeitete. Nach dem Tod seines Vaters übernahm er 1913 die Leitung der Firma und wurde Erbe eines Vermögens von mehr als 50.000.000 Dollar.

Morgan hatte während seines Aufenthalts in England eine tiefe Zuneigung zu diesem Land entwickelt. In den ersten drei Jahren des Ersten Weltkriegs wurde er daher in den Vereinigten Staaten zum alleinigen Einkäufer für die britische und französische Regierung und kaufte im Auftrag dieser Länder bei amerikanischen Firmen militärische und andere Güter im Wert von rund 3 Milliarden Dollar. Um den französisch-britischen Bedarf an Krediten in den Vereinigten Staaten zu finanzieren, organisierte er mehr als 2.000 Banken, die insgesamt mehr als 1.500.000.000 $ an alliierten Anleihen zeichneten. Nach dem Ende des Krieges gewährte sein Unternehmen Kredite in Höhe von mehr als 10.000.000.000 $ für den Wiederaufbau Europas. Obwohl J.P. Morgan jr. nicht die dominante, meisterhafte Persönlichkeit war, die sein Vater gewesen war, war er dennoch der bedeutendste amerikanische Finanzier seiner Zeit.

Während des Börsenkrachs im Oktober 1929 legten Morgan und mehrere andere Großbankiers ihre Gelder zusammen und versuchten, den Verfall der Aktienkurse aufzuhalten, jedoch ohne Erfolg. Im Jahr 1933 zwang das Bankengesetz seine Firma, ihre Investmentbanking-Aktivitäten von ihren kommerziellen (Einlagen-)Bankgeschäften zu trennen. Dementsprechend wurde Morgan, Stanley and Company zu einer neuen Investmentbanking-Firma, während Morgan selbst Chef von J.P. Morgan and Company blieb, die von nun an eine reine Geschäftsbank war.