1903年10月13日、秋田県下川沿村（現在の大館市川口）に小林末松の次男として生まれ、四歳の時に小樽に移る。小林家は大きな農家だったが、祖父の代で没落し、伯父の事業の失敗がさらに傷を広げた。その後、伯父は小樽でパン工場を起こして成功し、多喜二の一家を呼びよせ、パン屋の支店をまかせた。
1916年、伯父の援助で小樽商業学校に入学。伯父の家に住みこみ、工場の手伝いをしながら通学した。1921年には小樽高等商業学校に進む。一年下に伊藤整がいた。
1924年、卒業後、北海道拓殖銀行に入行。「クラルテ」を創刊し、「駄菓子屋」を発表。父の死にあう。その秋、「蕎麦屋」で働く16歳の田口タキを知り、本気になる。翌年、友人と高利貸しから借金して、タキを自由の身にし、自宅に引きとるが、半年ほどで逃げられる。タキとはその後も関係が断続的につづいた。この頃から労働運動に接近し、磯野小作争議では地主側の情報を流したり、港湾労働者の争議ではビラの製作に係わる。
1928年、普通選挙法による最初の選挙では、銀行に知れないように、倶知安まで遠出して共産党の山本懸三を応援した。3月、全日本無産者芸術聯盟（NAP）に参加し、蔵原惟人の影響を受けるようになる。11月、「一九二八年三月十五日」を「戦旗」に発表。
1929年、2月、日本プロレタリア作家同盟が結成され、中央委員に就任した。5月「蟹工船」を「戦旗」に発表するが、7月には早くも新築地劇団により帝国劇場で上演される。9月、「一九二八年三月十五日」を併録した『蟹工船』を刊行するも、発禁処分になる。11月、「中央公論」に「不在地主」を発表したことを口実に拓銀を解雇される。
1930年、『不在地主』を上梓後、上京するが、共産党に資金を提供したとして逮捕と釈放を繰りかえし、8月には治安維持法で豊多摩刑務所に下獄する。
翌年、保釈されると、『東倶知安行』と『オルグ』を刊行。母親と弟を小樽から呼びよせるが、10月、日本共産党に入党する。「一九二八年三月十五日」がドイツで刊行されるが、すぐに発禁になる。
1932年、奈良に志賀直哉を訪ねた直後、宮本顕治等とともに地下活動にはいる。「蟹工船」のロシア語訳がソ連で刊行される。
1933年2月20日、特高警察に逮捕され、築地署で拷問中、急死。30歳だった。
同月23日の葬儀では参会者全員が検挙された。3月15日には、築地小劇場で労農葬がおこなわれた。