Je refuse est la chronique d'une amitié entre deux garçons, Jim et Tommy. Ils grandissent dans la même petite commune près d'Oslo, et malgré leurs différences, ils sont inséparables. Jim est enfant unique, couvé et protégé par une mère très pieuse, tandis que Tommy est l'aîné d'une fratrie de quatre. Sa mère a disparu, et il est malmené par un père alcoolique et violent. Bientôt, Tommy, sa soeur Siri et deux autres soeurs jumelles sont placés dans trois familles d'accueil différentes. Tommy, encore adolescent, va commencer à travailler dans la scierie de Jonsen, l'homme qui s'est proposé de prendre soin de lui, tandis que Jim continue à aller au lycée et à fréquenter Siri. Mais un jour, un incident banal sur un lac gelé - Jim, pris de peur, pousse Tommy sans réellement le vouloir - trouble cette amitié si forte, et c'est sans doute le souvenir honteux de ce moment qui constitue le point de départ de la descente aux enfers de Jim. Il commet une tentative de suicide, et lors de son séjour en hôpital psychiatrique, une confrontation stupide va séparer les deux amis à jamais. C'est seulement trente ans plus tard qu'ils se retrouvent, mais il est peut-être trop tard...