1956年（昭和31年）、映画『飢える魂』でデビューした。1959年（昭和34年）公開の映画『南国土佐を後にして』で脚光を浴びる。以降、映画「渡り鳥」シリーズ、映画「旋風児」シリーズに主演。石原裕次郎らとともに日活の黄金時代を築く。しかし興行収入が裕次郎主演作より上だった年もあったが、裕次郎よりギャラは低かった。
1958年（昭和33年）、日本コロムビアより「女を忘れろ」で歌手デビューした。同曲は小林によると、80万枚くらい売れただろうとのことである[3]。映画の『ギターを持った渡り鳥』、映画『銀座旋風児（ぎんざマイトガイ）』などの主題歌、挿入歌を歌い、ヒットさせる。また、「自動車ショー歌」、「恋の山手線」などのコミックソング、「昔の名前で出ています」などの歌謡曲も歌っている。これらの楽曲を独特の甲高い声を含む歌唱法で歌うことから、「アキラ節」と呼ばれる場合もある。
映画『ギターを持った渡り鳥』[4]など、渡り鳥シリーズのコミカルな役を真剣に演じることで、人気シリーズに成長させた。1960年（昭和35年）頃、映画での共演をきっかけに浅丘ルリ子と同棲したが、後に同棲を解消している。
その後、美空ひばりと雑誌での対談をきっかけに交際を始めるが、結婚などはまだ考えていなかったにも関わらず、ひばりの意を汲んだ父親代わりの山口組三代目・田岡一雄から強引に頼まれ拒めず、1962年（昭和37年）に結婚[5][6]。「（結婚生活では）ひばりは懸命によき妻を演じようとし、女としては最高だった」と『徹子の部屋』で述懐している。小林とひばりは、ひばりの母の反対で戸籍上は入籍していない事実婚で、戸籍上はひばりは生涯独身であった。1964年（昭和39年）に事実婚を解消。会見の2日前にひばり親子から頼まれた田岡が小林に「ひばりをみなさんに返してやりや」と引導を渡され、逆らうことは出来なかったと自著で述べている[5][7]。記者会見は別々に開かれ、小林の会見には田岡と菱和プロ社長・嘉山登一郎が同席した[7]。小林は「本人同士が話し合わないで別れるのは心残りだが、和枝（ひばりの本名）が僕と結婚しているより、芸術と結婚したほうが幸せになれるのなら、と思って、理解離婚に踏み切った」と説明[7]。この「理解離婚」という言葉は当時流行語となった。また「未練はいっぱいある。皆さんの前で泣きたいくらいだ」と自身の本意でなかったと語っている。
1964年（昭和39年）、クラウンレコードへ移籍し、1967年（昭和42年）には女優の青山京子と再婚。若手俳優で主演をはっていた時代、他の俳優たちが嫉妬心から真剣に殴りかかってきたことがあったという。東映に移籍した当初、既にスターであった小林を殴ってやろうと志賀勝、川谷拓三、岩尾正隆らピラニア軍団が待ち構えていた。それを察知した梅宮辰夫は彼らの間に立ち、撮影の間に遭遇しないよう苦労したという。
1970年（昭和45年）から1971年（昭和46年）に、すっかり客足の鈍った日活と大映はダイニチ映配を発足させ、次々に作品を製作するも、両社ともども迷走し、多大なる赤字を被る。自らが主宰するアロー・エンタープライズが製作、そして主演し、得意のアクションを披露したテレビドラマ『ターゲットメン』などを含めた事業の失敗により、小林は”14億円もの債務”を背負う。
1972年（昭和47年）に東映に入社。1973年（昭和48年）より映画『仁義なき戦い』シリーズの『仁義なき戦い 代理戦争』、『仁義なき戦い 頂上作戦』、『仁義なき戦い 完結篇』の武田明役で出演。『京阪神殺しの軍団』などの東映実録映画や1978年（昭和53年）、『多羅尾伴内』のリメイク作に主演した。シリーズ化する予定であったが、2作目が興行不振となり打ち切られた。1975年には「昔の名前で出ています」が久しぶりのヒットになった。
1977年（昭和52年）、発売から2年を経た歌『昔の名前で出ています』で、『第28回NHK紅白歌合戦』に初出場し、1996年（平成8年）までに7回『紅白』に出場した。
1980年（昭和55年）、『旅がらす事件帖』（関西テレビ・フジテレビ系）でテレビ時代劇初主演を飾ると同時に、主題歌「みだれ雲」を歌い、話題となった。翌年の1981年（昭和56年）には、『旅がらす事件帖』と同じスタッフによる『幻之介世直し帖』（日本テレビ系）に主演。主題歌「思いやり」を歌うと同時に、最終回（第24話）では、乾幻之介役の小林自ら監督も手掛けた。
同年、ポリドールへ移籍し、1985年（昭和60年）に小林の大ファンでもあった大瀧詠一が小林のために書き下ろした（作詞は阿久悠）「熱き心に」がヒットし、1986年（昭和61年）の『第37回NHK紅白歌合戦』に2回目の出場を果たす。2002年（平成14年）には大瀧の企画・監修による4枚組CDが発売された。
1988年（昭和63年）、『春来る鬼』で監督業に進出するも、興業不振となる。その後1992年（平成4年）『修羅の伝説』で俳優業に復帰する。
2004年（平成16年）、芸能生活50周年を記念し、石原裕次郎や美空ひばりとのことなど、それまでの人生についてに綴った『熱き心に』を出版した。
2006年（平成18年）、本人をモチーフにしたパチンコ機「CR渡り鳥AKIRA」が登場した。
2007年（平成19年）2月23日、日本プロゴルフ協会（PGA）から、川上哲治、羽佐間正雄らとともにPGA名誉会員（2006年に制定）に認定される。名誉という肩書きではあるが、実際にプロの試合に出て賞金を稼ぐことも可能である。プロとしてシニアツアーに2007年に1試合、2008年（平成20年）は4試合に出場したが、暴力団のゴルフコンペに参加したと報じられたため、同年にPGA名誉会員の資格を辞退した[8][9]。
2007年（平成19年）4月、インディーズのレコード会社UKプロジェクト内に自身のレーベルである「マイトガイレーベル」を設立[10]。マイトガイレーベル第1弾CDとなる、本人の作詞・作曲による新曲「折紙人生」が、NHK『ラジオ深夜便』の7月から9月の「深夜便の歌」として採用される。また、同7月には大阪新歌舞伎座で舞台『無法松の一生』にて20年ぶりの座長公演を務めた。
2014年（平成26年）3月19日から開幕した主演の舞台「熱き心で突っ走れ」にて[11]、「座長の小林さんから数々の暴言やいじめまがいの演技指導を受け、初日の4日前に一方的に降板させられた。人権無視だ」と小林演じる織田信長の母親役で出演予定だった東てる美にフェイスブックで明かされた[11][12][13]。東は15日夜に制作側から降板を告げられ[11][12]、「小林さんからの謝罪はありません[11]」「今までの女優人生で最悪の出来事。クビなら補償しなければならないが、私の都合で降りたならその必要もない。小林さんのやり方はあまりにも汚い[12]」と取材してきた各マスコミに答えている。同作のために東は4か月間スケジュールを押さえており、補償などについて主催者側と交渉[11]。小林の所属事務所は「その件についてはコメントできません」としている[11]。
2017年（平成29年）10月5日、フジテレビ系『バイキング』にて、芸能生活で初めてコメンテーターという立場でのテレビ出演を果たした[14]。
現在、FOS[15]ゴルフ指導者マスターライセンスを取得し、国際スポーツ振興協会の専属プロ、日本ゴルフ指導者協会副総裁の肩書を持つ。[16][17]
