1912年2月12日、東京本郷の浄土宗潮泉寺に、住職、大島泰信の次男として生まれる。幼名、覚。後に、父の師の武田芳淳の遺言で武田姓を継ぎ、20歳の時に泰淳と改める。
市立京北中学をへて、浦和高校に入学。中国文学に興味をもち、私立第一外語学校で中国語を学ぶ反面、反帝グループの運動に参加する。東京帝大支那文学科に進み、竹内好と知りあうが、「第二無産者新聞」にかかわり、四回逮捕されて大学を去る。
退学後は左翼運動を離れ、1932年、芝増上寺で僧籍をとる。1934年、周作人来日歓迎会を機に発足した中国文学研究会に参加。会員に竹内好、松枝茂夫らがいた。翌年から、機関誌「中国文学月報」を刊行（後に「中国文学」に改題）。
1937年、応召し、華中戦線に送られるが、後方で事務を担当し、文学書を濫読。二年後に除隊になる。茅盾『虹』などの翻訳にたずさわる。1941年から、語学力をかわれ、出版文化協会海外課に勤務。1943年、『司馬遷』を刊行。翌年、上海の中日文化協会に移り、日本語の本の中国語訳を担当する。1946年4月、日本に引き上げる。外地で戦争の混乱を経験したのは確かだが、兵士として死線をさまよったことはない。
1947年、「蝮のすゑ」を発表。中国文学の造詣をかわれて北海道大学法文学部助教授になるが、翌年、退職。
1951年1月、鈴木百合子と結婚し、9月、長女花が誕生。1952年、『風媒花』を、1954年、「ひかりごけ」を発表。1961年から、中国対外文化協会の招きでたびたび訪中する。
1966年、冒険小説『十三妹』を、1968年、『秋風秋雨人を愁殺す』を刊行。後者は芸術選奨文部大臣賞に選ばれるが、受賞を拒否する。1971年、大作『富士』を刊行。1976年、『目まいのする散歩』を刊行、野間文学賞を受ける。
1976年10月5日、胃と肝臓に転移した癌で死去。64歳だった。