Né à New York, il passe une enfance assez mouvementé dans le quartier de Greenwich Village. Son père, Lucien Carr, qui a été président de l’agence de presse UPI (United Press International) et est une figure de la Beat Generation, un mouvement littéraire et artistique américain des années 1950, {{Citation}}. Il avait auparavant eu des amis de passage, tels Allen Ginsberg et William Burroughs, mais le jeune Caleb Carr ne se reconnaît {{Citation}}. Après le divorce de ses parents, il se passionne pour l'histoire militaire.
Il entreprend des études supérieures au Kenyon College, dans l'État de l'Ohio, puis entre à l'Université de New York, où il obtient un diplôme en histoire.
En littérature, il publie son premier roman, intitulé Casing the Promised Land, en 1979. Il est notamment l'auteur d'une biographie Le Diable blanc (The Devil Soldier, 1992) et des romans L'Ange des ténèbres (The Angel of Darkness, 1997) et Le Tueur de temps (Killing Time, 2000) et avant eux de L'Aliéniste (The Alienist, 1996), roman pour lequel il reçoit le Grand prix de littérature policière et le Prix Mystère de la critique. Dans le roman policier historique Le Secrétaire italien (The Italian Secretary, 2005), il met en scène le personnage de Sherlock Holmes qui vient en aide à la reine Victoria pour résoudre une affaire criminelle aux complexes ramifications historiques.
Il habite actuellement dans l'État de New York, dans une propriété fermière nommée “Misery Mountain”, dans la ville de Berlin du comté de Rensselaer, située à une centaine de kilomètres au nord de la ville de New York.
En 2004 et 2005, il participe à la conception en tant que scénariste à deux préquelles au film L'Exorciste (The Exorcist) : L'Exorciste : Au commencement (Exorcist: The Beginning) et Dominion: Prequel to the Exorcist.
Il s’est présenté en tant que candidat démocrate dans le comté de Rensselaer en 2005, mais il a été largement battu.