Dapat dikatakan bahwa secara de-facto hadirnya kerata api di Indonesia ialah dengan pembinaan jalan kereta api sepanjang 26 km pada lintas Kemijen-Tanggung yang dibina oleh NV. Nederlandsch Indische Spoorweg Maatschappij (NIS). Pembangunan jalan rel tersebut bermula dengan penyangkulan pertama pembangunan badan jalan rel oleh Gabenor Jeneral Belanda Mr. L.A.J. Baron Sloet Van De Beele pada hari Jumaat tarikh 17 Jun 1864. Jalur kereta api lintas Kemijen-Tanggung mula dibuka untuk umum pada hari Sabtu, 10 Ogos 1867. Sedangkan landasan de-jure pembinaan jalan rel di jawa ialah disetujuinya undang-undang pembinaan jalan rel oleh pemerintah Hindia Belanda tarikh 6 April 1875.

Dengan telah adanya undang-undang pembinaan jalan rel yang dikeluarkan oleh pemerintah Hindia Belanda dan dengan berhasilnya operasi kereta api lintas Kemijen-Temanggung (yang kemudian pembangunannya diteruskan hingga ke Solo), pembinaan jalan rel dilakukan di beberapa tempat bahkan hingga di luar Jawa, iaitu di Sumatera dan Sulawesi.

Namun sejarah jalan rel di Indonesia mencatat adanya masa yang memprihatinkan iaitu pada masa pendudukan Jepun. Beberapa jalan rel di pulau Sumatera dan pulau Sulawesi dan sebahagian lintas cabang di pulau Jawa dibongkar untuk diangkut dan dipasang di Burma (Myanmar). Bahkan pemindahan jalan rel ini juga disertai dengan dialihkannya sejumlah tenaga kereta api Indonesia ke Myanmar. Akibat tindakan Jepun tersebut ialah berkurangnya rangkaian jalan rel di Indonesia. Data tahun 1999 memberikan maklumat bahawa panjang jalan rel di Indonesia ialah 4615,918 km, terdiri atas Lintas Raya 4292,322 km dan Lintas Cabang 323,596.

Dalam masa perjuangan kemerdekaan Republik Indonesia peranan kereta api sangatlah besar. Sejarah mencatat peranan kereta api dalam pengedaran logistik untuk keperluan perjuangan dari Ciporoyom (Banyumas) ke pedalaman Jawa Tengah, mobilisasi askar pejuang di wilayah Jogjakarta-Magelang-Ambarawa. Hijrahnya kerajaan republik Indonesia dari Jakarta ke Jogjakarta tahun 1946 tidak lepas pula dari peranan kereta api. Tarikh 3 Januari 1946 rombongan Presiden Soekarno(Sukarno) berjaya meninggalkan Jakarta menggunakan kereta api, tiba di Jogjakarta tanggal 4 Januari 1946 pukul 09.00 disambut oleh Sri Sultan Hamengkubuwono IX.

Sejarah perjuangan Bangsa Indonesia mencatat pengambilalihan kuasa perkereta-apian dari pihak Jepun oleh Tentera Moeda Kereta Api (AMKA) pada peristiwa bersejarah tarikh 28 September 1945. Pengurusan kereta api di Indonesia telah dikendalikan oleh institusi yang dalam sejarahnya telah mengalami beberapa kali perubahan. Institusi pengurusan bermula dengan nasionalisasi semua perkereta-apian oleh Djawatan Kereta Api Indonesia (DKARI), yang kemudian namanya dipendekkan dengan Djawatan Kereta Api (DKA), sehingga tahun 1950. Institusi tersebut berubah menjadi Syarikat Negara Kereta Api (PNKA) pada tahun 1963 dengan PP. No. 22 tahun 1963, kemudian dengan PP. No. 61 tahun 1971 berubah menjadi Syarikat Jawatan Kereta Api (PJKA). Laman kembali terjadi pada tahun 1990 dengan PP. No. 57 tahun 1990 status syarikat jawatan diubah menjadi syarikat awam sehingga PJKA berubah menjadi Syarikat Umum Kerata Api (Perumka). Perubahan besar berlaku pada tahun 1998, iaitu perubahan status dari Syarikat Umum Kereta Api menjadi PT Kereta Api (persero), berdasarkan PP. No. 19 tahun 1998.

Perkembangan dalam dunia kereta api di Indonesia terus berlangsung, begitu pula dengan teknologinya. Tarikh 31 Julai 1995 dilancarkan kereta api Argo Bromo (juga dikenali sebagai KA JS 950) Jakarta-Surabaya dan kereta api Argo Gede (JB 250) Jakarta-Bandung. Pelancaran kedua-dua kereta api tersebut mendandai apresiasi perkembangan teknologi kereta api di Indonesia dan sekaligus banyak dikenali sebagai embrio teknologi kebangsaan. Saat ini, selain daripada kedua-dua kereta api "Argo" tersebut di atas, telah beroperasi pula kereta api Argo Lawu, Argo Dwipangga, Argo Wilis, Argo Muria.

Kemampuan dalam teknologi perkereta-apian di Indonesia juga terus berkembang baik dalam prasarana jalan rel maupun sarana kereta apinya. Dalam rancang bangun, peningkatan dan penyenggaraan kereta api, perkembangan kemampuan tersebut dapat dilihat di PT INKA (Industri kereta Api) di Madiun, dan balai Yasa yang terdapat di beberapa daerah.