1924年3月7日、東京瀧野川区に生まれる（奇しくも石川淳の25歳の誕生日にあたる）。「きみふさ」が本名と言われてきて、成人まで両親からそのように呼ばれていた事実もあるが、戸籍上は「こうぼう」が本名である。父、浅吉は満洲医大付属病院の医師。奉天で育つが、安部を担任した教師は、当時の満洲に多かった新らしもの好きの知識人の一人で、実験的な教育を受けたという。
単身上京し、成城高校から東京帝大医学部に進む。1944年、敗戦が近いと知り、満洲にもどるが、混乱の中、父を失う。引き揚げ後、北海道の父の郷里に身を寄せるが、植民地のハイカラな都市で育った安部には田舎の濃密な共同体が肌にあわなかったのだろう。復学を口実に上京し、後に装丁家、舞台美術家として活躍する真知子夫人と結婚。満洲体験を書いた「無名詩集」をガリ版で出し、勅使河原宏ら若い芸術家を糾合して、前衛運動の魁となる。
1948年、埴谷雄高と花田清輝の推挙により、『終わりし道の標べに』を真善美社から刊行。1951年、「壁」で芥川賞を受ける。同作は深く敬愛する石川淳の序文をえて上木される。
精力的に小説を発表する一方、ラジオドラマや映画、ドキュメンタリー、TV、写真、演劇と多方面に活動するが、特に演劇では、小説とならぶ傑作を書き、清水邦夫、別役実ら、次世代の劇作家に大きな影響をあたえる。『砂の女』をはじめとする長編小説は、そのまま舞台に載せられるような演劇的構造をもっている。1973年、「安部スタジオ」を結成し、独自の身体訓練で若い俳優を育てる。1979年の「仔象は死んだ」はその集大成である。
1993年1月、『飛ぶ男』執筆中に、69歳で死去。