1907年5月6日、北海道旭川で生まれる。父隼雄は旭川第七師団勤務の陸軍軍医で、井上家の養嗣子。井上家は代々伊豆の医家で、曾祖父潔は初代軍医総監松本順の門下で、名医の評判が高かった。
6歳の時、妹が生まれるなどで人手が足りなくなり、一時的に伊豆に預けられるが、義理の祖母がかわいがり、離さなかったので、小学校時代をずっと湯ヶ島ですごす。一年浪人して、当時、父の任地だった浜松の中学校に入学。
1927年、一年浪人して金沢の第四高等学校に入学。医者になるために理科を選ぶが、向かないので、文科に転ずる。1930年、九州帝国大学法文学部に入学するが、試験を受ければ卒業できるとわかり、上京。辻潤、高橋新吉などが立ち寄る駒込の下宿屋で気ままな生活をはじめる。三年に進む時、京大哲学科が定員割れで学生を募集したのを知り、京大に移る。モラトリアム人間のはしりである。
「サンデー毎日」の懸賞小説に応募したところ、入選。当時、大学出新入社員の年収の半分にあたる賞金を手にする。半年ごとの募集に変名で応募し、毎回、入選したので、金に不自由しなかったという。小説の好評で、一時、新興キネマ脚本部に籍をおく。1935年、卒業を延ばすために試験を放りだし、戯曲「明治の月」を書きあげる。この作品は「新劇壇」に掲載され、守田勘弥の目にとまり、その年の内に上演されるが、モラトリアム生活をつづける息子を心配した親の勧めで結婚。翌年も留年するつもりだったが、新妻の懇願でやむなく卒業する。
懸賞小説が機縁となって「サンデー毎日」編集部に引っぱられ、毎日新聞大阪本社に入社。1937年、支那事変に召集されるが、翌年、病気除隊。毎日新聞学芸部に復帰する。文章力を見こまれ、敗戦の日の記事をまかされる。
1948年、書籍部に移り、東京に単身赴任する。ふたたび小説を書きはじめ、翌年。「猟銃」が佐藤春夫の推薦で「文學界」に掲載される。1950年、第二作「闘牛」で芥川賞を受賞。小説の注文が殺到し、この年、『黯い潮』、『その人の名は言えない』と短編集『闘牛』、『死と恋と波と』、『雷雨』を刊行。翌年、新聞社を辞め、作家専業となる。
この後、多くの作品を発表するが、重要な作品としては1958年の『氷壁』、『天平の甍』、1959年の『敦煌』、『楼蘭』、1960年の『蒼き狼』、1962年の自伝小説『しろばんば』、1963年の『風濤』、1966年の『おろしや国酔夢譚』、1981年の『本覚坊遺文』がある。
文化勲章、芸術院賞、芸術選奨、読売文学賞、毎日芸術大賞、新潮日本文学大賞、野間文芸賞など、大きな賞はすべて受賞している。ノーベル賞候補にもなったが、受賞は果たさなかった。
1991年1月29日、死去。83歳だった。