Berdasarkan pengguna senjata, pertama sekali yang menggunakan M4 ini semestinya Amerika Syarikat yang kemudiannnya digunakan oleh semua unit-unit tentera, separa tentera dan polis serta beberapa negara yang lain.[perlu rujukan] Kebanyakan negara-negara luar yang menggunakan senjata M4 (khasnya M4A1) ini terdiri daripada pasukan elit United Kingdom/Australia/New Zealand Special Air Service, Pakistan Special Service Group, Royal Thai Navy SEALs, Detasemen 88 POLRI Indonesia, pasukan elit Angkatan Tentera Malaysia dan Polis Diraja Malaysia dan beberapa buah negara yang lain.

Bagi negara Malaysia, sudah sedia maklum bahawa penggunaan M4 telah pun dimulakan setelah kontrak diantara kerajaan Malaysia dengan Colt Firearms Amerika Syarikat telahpun ditandatangani pada tahun 2006 setelah kontrak penggunaan senjata Steyr AUG berakhir dan kini banyak digunakan oleh pasukan-pasukan ATM khasnya bagi unit elit setelah diumumkan oleh Menteri Pertahanan Malaysia, merangkap Timbalan Perdana Menteri, Dato' Seri Najib Tun Razak. Penggantian senjata AUG kepada M4 adalah disebabkan beberapa faktor. Pertama, pengeluaran AUG versi A1 oleh SMEO mempunyai banyak kelemahan berbanding AUG asal keluaran Steyr. Manakala projek bagi AUG versi A3 terbengkalai dan dibatalkan serta syarikat pengeluaran AUG terpaksa lepas tangan kepada SMEO. Hasil dari pemilihan antara M4 dengan M16A4, raifal keluaran baru Colt, M4 telah dipilih. Penghantaran pertama bagi 14,000 laras senjata M4A1 ini dimulakan dengan kos sebanyak RM 70 juta, malahan senjata tersebut akan dibuat di Malaysia oleh Syarikat Malaysia Explosive Ordnance (M) dengan secara berlesen oleh US Colt Firearms, dan pembuatan M4 berserta peralatan sokongan tempur bagi kegunaan ATM ini akan dibangunkan secara berperingkat-peringkat dengan pengawasan ketat oleh Colt. M4 yang digunakan oleh ATM memiliki keistimewaannya sendiri, iaitu setiap selaras M4 ATM ditandakan dengan lambang ATM bagi memudahkan pengenalan M4 yang digunakan oleh ATM dengan pasukan tentera negara luar. 10 PARA dan Grup Gerak Khas merupakan pengguna terawal M4A1 dalam cabang pasukan elit ATM sebelum PASKAL TLDM dan PASKAU TUDM memiliki M4 bagi menggantikan raifal tempur AK-102 dan M16A1 bagi penugasan mereka di maritim dan kemudahan lapangan tentera udara. Unit elit 10 PARA dan Grup Gerak Khas menggantikan senjata raifal Steyr dengan senjata M4A1 sebagai senjata utama pasukan mereka dalam penugasan-penugasan luar, khasnya penugasan anti pengganas yang mana ia sesuai di dalam pertempuran di dalam bangunan (CQB) dan kawasan hutan serta seluruh keadaan persekitaran khatulistiwa, 35 laras senjata M4 milik 10 Para dan Gerak Khas dilengkapi dengan peralatan SOPMOD berupa pejera optik Trijicon ACOG 4x bagi meningkatkan daya ketepatan senjata tersebut. Sementara bagi unit anti keganasan domestik Polis Diraja Malaysia iaitu Pasukan Gerakan Khas, penggunaan M4 khasnya M4A1 telahpun dibekalkan selepas kontrak penggunaan M4 oleh ATM (tarikh penggunaannya adalah sulit dan tahap kerahsiaan kerajaan adalah amat tinggi) bagi menggantikan senjata M16A1 yang dirasakan kurang sesuai bagi penugasan-penugasan mencegah keganasan dimasa kini. Pembelian senjata M4 ke atas unit-unit elit ATM ini turut menarik perhatian unit elit PDRM ini dan sistem ini telah dibeli oleh PDRM melalui SME Ordnance. Kebanyakan unit yang menggunakannya adalah terdiri daripada Unit Tindakan Khas, salah satu cabang daripada pasukan elit PDRM ini selain Komando 69. Penggunaan M4A1 bagi UTK turut dimanfaatkan dalam latihan dan juga misi-misi khas mereka seperti latihan payung terjun, menyelam, lintas udara dan pelbagai lagi kepakaran yang memerlukan sistem raifal tempur yang hebat. Antara tugas dan operasi bagi UTK yang menggunakan M4A1 ini ialah penugasan misi pengaman di Timor Leste. Kini, selain PGK, sebuah lagi unit khas PDRM yang baru ditubuhkan iaitu Unit Gempur Marin (UNGERIN) turut dibekalkan dengan karbin M4 (dipercayai dibiayai oleh Amerika Syarikat) selaras dengan persenjataan raifal yang fleksibel bagi tugas penguatkuasaan maritim negara.