Druhá světová válka přerušila Broyardova studia na Brooklyn College. Když vstoupil do americké armády, přijal identitu bělocha, povýšil na kapitána a ironií osudu byl pověřen velením čistě černošského nákladního praporu. Brzy po skončení války se rozvedl se svou první ženou Aidou Sanchezovou, portorikánskou míšenkou, využil G.I Bill ke studiu na New School for Social Research a za peníze ušetřené během války si otevřel knihkupectví v Greenwich Village, které mu zprostředkovalo kontakty se spisovateli, jako byli Delmore Schwartz, Maxwell Boderheim, Max van den Haag a Chandler Brossard. Koncem čtyřicátých let začal Broyard posílat své texty do špičkových intelektuálních časopisů včetně Partisan Review a Commentary. Jeho článek v Discovery z roku 1954 nazvaný „Co řekl cystoskop“, týkající se prohraného boje jeho otce s rakovinou, oznámil literárnímu světu, že se objevil nový ohromný talent.
Jak jeho proslulost rostla, šuškalo se o Broyardově rasové identitě mezi bělochy i černochy. Jeho nejbližší bílí spolupracovníci slyšeli zvěsti o jeho černošském původu, ale neradi se mu o tom zmiňovali – už samotný náznak rychle odrážel nebo v něm vyvolával záchvaty vzteku. Když se v roce 1958 objevila jeho fotografie v časopise Time, černošský básník a spisovatel Arna Bontemps řekl svému příteli Langstonu Hughesovi: „Na jeho fotce… vypadá jako negroid. Je-li tomu tak, je to jediný rýpal mezi členy Beat Generation.“
Na počátku šedesátých let Broyard pracoval na příležitostných brigádách spojených s reklamou a na částečný úvazek vyučoval na New School. V roce 1962 se oženil s norsko-americkou tanečnicí Alexandrou Nelsonovou. Šest let pracoval pro reklamní agenturu Wunderman Ricotta &Kline a dojížděl z rodinného domu v Connecticutu do centra Manhattanu. Později v tomto desetiletí napsal několik recenzí na titulní stranu New York Times Book Review a poté nahradil Christophera Lehmanna-Haupta jako denní recenzent této publikace. Díky svému postavení redaktora v Timesech se stal jedním z předních národních arbitrů vkusu a strážcem kulturního prostoru, člověkem, jehož názory mohou podpořit nebo zničit něčí literární aspirace.
Sbírky Broyardových recenzí Aroused by Books (1974) a Men, Women, and Other Anticlimaxes (1980) vyšly v nakladatelství Random House a Methuen. V roce 1984 začal psát sloupek v Book Review.
Broyard odešel v roce 1989 do důchodu a 11. října 1990 zemřel na rakovinu prostaty. Posmrtně vyšly jeho dvě autobiografické práce: Intoxicated by My Illness and Other Writings on Life and Death (1992) a Kafka Was the Rage: A Greenwich Village Memoir (1993). V roce 1996 napsal profesor Harvardovy univerzity Henry Louis Gates, Jr. v časopise The New Yorker pronikavou úvahu o Broyardově životě, v níž věnoval zvláštní pozornost jeho komplikované snaze vydávat se za bělocha. Když se Broyardova sestra tmavší pleti Shirley zúčastnila jeho smutečního obřadu, bělošští smuteční hosté byli šokováni, když viděli, že je černá. Ze strachu před jeho hněvem se ani Broyardova manželka nesvěřila s tajemstvím jeho rasového původu jejich dětem, Toddovi a Bliss, až do jeho smrti.