Se graduó en la Universidad de Harvard en 1889 y entró a formar parte de la firma bancaria de su padre, J.P. Morgan and Company, en 1892, trabajando en la sucursal de la firma en Londres durante ocho años. Sucedió a su padre al frente de la firma en 1913 tras la muerte de éste, convirtiéndose en heredero de un patrimonio de más de 50.000.000 de dólares.

Morgan había desarrollado un profundo afecto por Inglaterra durante su estancia allí. Como consecuencia, durante los tres primeros años de la Primera Guerra Mundial, se convirtió en el único agente de compras en los Estados Unidos para los gobiernos británico y francés, comprando alrededor de 3.000.000.000 de dólares en suministros militares y de otro tipo a empresas estadounidenses en nombre de esos países. Para financiar las necesidades franco-británicas de créditos en Estados Unidos, organizó a más de 2.000 bancos para que suscribieran un total de más de 1.500.000.000 de dólares en bonos aliados. Tras el final de la guerra, su empresa concedió préstamos por un total de más de 10.000.000.000 de dólares para la reconstrucción de Europa. Aunque no era la personalidad dominante y magistral que había sido su padre, J.P. Morgan, Jr. seguía siendo el financiero estadounidense más importante de su época.

Durante el desplome del mercado de valores de octubre de 1929, Morgan y varios otros banqueros importantes reunieron sus fondos e intentaron frenar la caída de los precios de las acciones, pero fue en vano. En 1933, la Ley Bancaria de ese año obligó a su empresa a separar sus actividades de banca de inversión de sus actividades de banca comercial (de depósitos). En consecuencia, Morgan, Stanley and Company se convirtió en una nueva firma de banca de inversión, mientras que el propio Morgan permaneció al frente de J.P. Morgan and Company, que a partir de entonces pasó a ser estrictamente una firma de banca comercial.