1934年9月9日、広島県に生まれる。翌年、海軍軍人だった父は藤沢市鵠沼西海岸に家をかまえる。阿部は終生この地に住み、作品もここを舞台に書かれることになる。
1959年、東大仏文科を卒業し、ラジオ東京（現在のTBS）に入社。ラジオ、テレビのディレクターとして活躍する一方、創作をつづけ、1962年、「子供部屋」で「文學界」新人賞を受賞し、デビューする。1968年に第一短編集『未成年』を上梓。
1971年、TBSを退職し、作家専業となる。前年発表の「司令の休暇」は、海軍兵学校出身ながら大佐にとどまり、戦後、公職追放となった父親を題材にした一連の作品の集大成であり、新境地を開いている。
1973年の『千年』で毎日出版文化賞、1976年の『人生の一日』で藝術選奨新人賞を受ける。「内向の世代」の代表者と目されるが、湘南海岸に根をおろした禁欲的な作風は「内向の世代」の他の作家とは傾向を異にする。長編小説がもてはやされる風潮の中、彫心鏤骨の短編を書きつづけた点でも、反時代的な作家だった。
エッセイに『父たちの肖像』(1979)、『短編小説礼賛』(1987)がある。
1989年5月19日、死去。55歳だった。