Asal-usulnya masih dipertikaikan, tetapi peralatan pertama yang menyerupai gergaji rantai mungkin dibuat sekitar tahun 1830 oleh ahli ortopedik Jerman Bernard Heine. Peralatan tersebut mempunyai pautan rantai yang mengangkut mata pemotong kecil; rantai tersebut bergerak melalui bilah pemandu dengan memutarkan hendal roda gegancu. Ia digunakan untuk memotong tulang.

Dua penyumbang utama kepada penciptaan gergaji rantai moden ialah Joseph Buford Cox dan Andreas Stihl; Stihl mempatenkan dan membangunkan gergaji rantai pada tahun 1926 dan seterusnya gergaji rantai berkuasa petrol pada 1929, serta mengasaskan sebuah syarikat bagi mengeluarkannya secara besar-besaran. Pada tahun 1927, Emil Lerp, pengasas Dolmar, membangunkan gergaji rantai berenjin petrol pertama di dunia dan mengeluarkannya secara besar-besaran.

McCulloch dan Industrial Equipment Corporation di Amerika Utara mula mengeluarkan gergaji rantai. Model-model terawalnya sangan berat sehingga memerlukan dua orang untuk menggunakannya serta mempunyai roda. Selepas Perang Dunia Kedua, penambahbaikan terhadap aluminium serta rekaan enjin menjadikan gergaji rantai lebih ringan sehingga boleh dikendalikan oleh seorang sahaja.

Gergaji rantai kini sudah menggantikan gergaji mudah kendalian manusia dalam bidang perhutanan. Ia didatangkan dalam pelbagai saiz, daripada gergaji elektrik kecil untuk kegunaan rumah dan kebun, sehinggalah gergaji pembalakan yang besar. Anggota unit jurutera tentera turut dilatih untuk menggunakan gergaji rantai.