1864年2月28日、江戸市谷の尾張藩上屋敷に生まれる。本名長谷川辰之助。父、吉数は江戸詰の尾張藩士。4歳の時、諸藩江戸引きはらいで名古屋に移り、名古屋で士族としての教育を受ける。
尾州は徳川御三家の筆頭だが、早くから勤王方にくみしていたのは島崎藤村の『夜明け前』にある通りで、幕末の動乱の中に育った二葉亭は「維新の志士肌」を早くから自覚していたという。
1875年、新政府の官吏となった父親の島根県赴任にともない、松江に移り、内村友輔の相長舎で儒学を学ぶ。14歳の時、ロシア脅威論に刺激され、陸軍士官学校を志望する。上京し、いくつもの塾に通い、士官学校を三度受験するが、三度とも不合格に終わる。1881年、次善の策として、東京外国語学校露語科に入学する。
二葉亭は語学の才能をあらわし、給費生に選ばれ、たびたび表彰を受ける。ニコライ・グレイの講義で文学に開眼したといわれている。最終学年の年、東京外国語学校が解体され、ロシア語・中国語・韓国語の三科が東京商業学校（現在の一ツ橋大学）に吸収されるが、「商業学校」卒となることを嫌った二葉亭は周囲の反対を押し切って退学する。
ちょうど評判になっていた『小説神髄』を読み、疑問を感じて坪内逍遥に面会を申しこむ。坪内は二葉亭のロシア文学の知識と新しい文学観に感銘を受け、ロシア小説の翻訳と作品の執筆を勧める。同年四月、「中央学術雑誌」に「小説総論」を発表し、事実の描写を通じて真実を描くという時代に先んじた文学観を披瀝する。
翌1887年、『浮雲』第一篇を坪内雄蔵名義で出版し、はしがきで初めて二葉亭四迷と名乗る（くたばってしまえ、の語呂合わせ）。翌年第二篇、翌々年第三篇を発表するが、早過ぎた試みはここで行き詰まる。この年、内閣官報局の官吏となり、小説の筆を折る。
官報局では英字新聞や露字新聞の翻訳に従事するが、その一方、社会主義に影響され、貧乏人こそ真実を知っているという思いこみから、夜な夜な貧民街を放浪した。最初の妻は貧民街で知りあった娼婦だったらしく、両親は結婚を認めようとしなかった。
1897年、局長交代で官僚主義的になった官報局を辞める。翌年、陸軍大学校露語教授嘱託になるが、膝の故障のためにすぐに辞任。この前後、収入不安からふたたびロシア小説の翻訳を手がける。1899年、新設された東京外国語学校（現在の東京外語大）の露語教授に就任。意外に教師に向いていて、学生から慕われるが、満洲をめぐる状況が緊迫するにつれ、「維新の志士肌」がまたうづきだし、1902年、教授を辞職し、大陸にわたる。
ウラジオストックでエスぺラント語に出会うが（後に日本最初のエスぺラント語の教本を出版）、ハルピンで外交問題で奔走するという夢は思うにまかせず、北京に移り、川島浪速の主宰する京師警務学堂の事務長となる。意外に事務的才能があり、学堂の経営を改善するが、翌年、ささいな問題から辞任。帰朝するが、半年足らずで日露戦争がはじまり、早まったとくやしがる。
ロシア問題の専門家として大阪朝日新聞に入社するが、新聞の求めるようなセンセーショナルが記事が書けず、一時は退職を勧告されるが、小説家としての才能に注目した東京朝日新聞の主筆、池辺三山のはからいで、東京朝日に移籍。1906年、仕方なく『其面影』を連載するが、好評をもってむかえられ、翌年の『平凡』の連載につながる。『其面影』と『平凡』の間には、漱石の『虞美人草』が連載された。
どちらも好評だったが、「維新の志士肌」の二葉亭は文士に甘んじることができず、在ペテルブルク駐在員を志願し、1908年6月、ロシアに向かう。
翌年、結核になり、海路、日本に向かうが、5月10日、ベンガル湾航行中に死去。シンガポールで火葬にふされる。45歳だった。
翌1910年、朝日新聞社から四巻の全集が出る。校閲を担当したのは石川啄木だった。