Il est diplômé de l’université Harvard en 1889 et devient membre de la firme bancaire de son père, J.P. Morgan and Company, en 1892, travaillant dans la branche londonienne de la firme pendant huit ans. Il succède à son père à la tête de la firme en 1913 à la mort de ce dernier, devenant ainsi l’héritier d’un patrimoine de plus de 50 000 000 $.

Morgan avait développé une profonde affection pour l’Angleterre durant son séjour dans ce pays. En conséquence, pendant les trois premières années de la Première Guerre mondiale, il devint le seul agent d’achat aux États-Unis pour les gouvernements britannique et français, achetant pour environ 3 000 000 000 $ de fournitures militaires et autres auprès de firmes américaines pour le compte de ces pays. Pour financer les besoins franco-britanniques en crédits aux États-Unis, il a organisé plus de 2 000 banques pour souscrire un total de plus de 1 500 000 000 $ en obligations alliées. Après la fin de la guerre, sa société a émis des prêts totalisant plus de 10 millions de dollars pour la reconstruction de l’Europe. Bien qu’il ne soit pas la personnalité dominante et magistrale que son père avait été, J.P. Morgan, Jr. était toujours le financier américain le plus important de son époque.

Lors du krach boursier d’octobre 1929, Morgan et plusieurs autres grands banquiers ont mis leurs fonds en commun et ont tenté d’enrayer la chute des cours boursiers, mais en vain. En 1933, la loi bancaire de cette année-là obligea sa société à séparer ses activités de banque d’investissement de ses activités de banque commerciale (de dépôt). En conséquence, Morgan, Stanley and Company devient une nouvelle banque d’investissement, tandis que Morgan lui-même reste à la tête de J.P. Morgan and Company, qui devient dès lors strictement une banque commerciale.