Institut Teknologi MARA Cawangan Johor telah memulakan operasinya pada 15 Disember 1983 di bangunan sementara di Taman Indah, Bukit Siput, Segamat. Kampus sementara di Bukit Siput ini terletak di KM 5, Jalan Genuang, Segamat dan telah dirasmikan oleh YAB. Menteri Besar Johor pada ketika itu, Dato' Abd. Ajib bin Ahmad pada 1 Januari 1984.

Di kampus sementara ini cuma dapat menempatkan seramai 440 orang pelajar sahaja pada satu-satu masa. Memandangkan pengambilan pelajar yang semakin meningkat mengikut Rancangan Malaysia Kelima (RMK - 5), maka pihak ITM telah meminjam Sekolah Rendah Kebangsaan Temenggong Abdul Rahman untuk dijadikan kolej kediaman dan dikenali sebagai Kolej Temenggong Abdul Rahman.

Mulai bulan Ogos 1986, Kampus ITM Cawangan Johor berpindah secara berperingkat ke kampus sementara di Segamat Baru yang bertentangan dengan Taman Indah, Bukit Siput. Disebabkan kepesatan pembangunan pelajar, Kerajaan Negeri Jjohor berbesar hati menyumbang sebuah kampus tetap ITM Segamat di Batu 8, Jalan Muar-Segamat di atas tanah seluas 200 hektar. Kampus yang siap dibine sepenuhnya pada bulan Januari 1990 ini mampu menampung kapisiti pelajar sehingga 2,500 orang.