Ele se formou na Universidade de Harvard em 1889 e tornou-se membro da firma bancária de seu pai, J.P. Morgan and Company, em 1892, trabalhando na filial de Londres da firma por oito anos. Ele sucedeu seu pai como chefe da firma em 1913, após a morte deste último, tornando-se herdeiro de um patrimônio de mais de $50.000.000,00.

Morgan tinha desenvolvido um profundo afeto pela Inglaterra durante sua estada lá. Como consequência, durante os primeiros três anos da Primeira Guerra Mundial, tornou-se o único agente de compra nos Estados Unidos para os governos britânico e francês, comprando cerca de 3.000.000.000 de dólares de material militar e outros fornecimentos a empresas americanas em nome desses países. Para financiar os requisitos franco-britânicos para créditos nos Estados Unidos, organizou mais de 2.000 bancos para subscrever um total de mais de 1.500.000.000 de dólares em títulos aliados. Após o fim da guerra, a sua firma concedeu empréstimos, num total de mais de $10.000.000.000, para obras de reconstrução na Europa. Embora não fosse a personalidade dominante e magistral que seu pai tinha sido, J.P. Morgan, Jr., ainda era o financiador americano mais importante de sua época.

Durante a queda da bolsa de valores em outubro de 1929, Morgan e vários outros grandes banqueiros juntaram seus fundos e tentaram conter a queda dos preços das ações, mas sem sucesso. Em 1933, a Lei Bancária daquele ano obrigou sua firma a separar suas atividades bancárias de investimento de suas atividades bancárias comerciais (depósitos). Assim, Morgan, Stanley and Company tornou-se uma nova firma de banco de investimento, enquanto o próprio Morgan permaneceu à frente do J.P. Morgan and Company, que a partir daí passou a ser estritamente uma firma de banco comercial.