Sebelum penggunaan meluas racun kimia untuk rumpai, kaedah kultur seperti mengubahsuai pH tanah, kemasinan atau tahap kesuburan digunakan untuk mengawal rumpai. Kaedah mekanikal (termasuklah pembajakan) juga telah (dan masih) digunakan untuk mengawal rumpai.

Racun rumpai yang pertama kali digunakan secara meluas ialah 2,4-diklorofenoxiasetik asid, selalu diringkaskan kepada 2,4-D.[2]2,4-D, pertama kali ditemui dan dihasilkan oleh W. G. Templeman di syarikat Imperial Chemical Industries. Pada tahun 1940, beliau menunjukkan bahawa sebatian pengawal atur pertumbuhan boleh digunakan untuk membunuh rumpai berdaun lebar tertentu dalam bijirin tanpa merosakkan tanaman Ia pertama kali dikomersilkan oleh syarikat cat Sherwin-Williams pada penghujung 1940-an. Ia mudah dan murah untuk dihasilkan dan membunuh banyak tumbuhan berdaun lebar sementara meninggalkan rumput dalam keadaan baik. Walaupun begitu penggunaan dos tinggi 2,4-D pada peringkat pertumbuhan penting boleh mencederakan tanaman rumput seperti jagung atau bijirin. Kos 2,4-D yang rendah telah membuatkan ia digunakan sehingga kini dan kekal sebagai penggunaan racun rumpai yang biasa di dunia. Seperti racun rumpai asid yang lain, formulasi terkini menggunakan sama ada garam amina (selalunya trimetilamin) atau daripada ester sebatian induk. Ini lebih mudah dikendalikan berbanding asid. Racun rumpai dalam kumpulan triazine termasuk atrazine telah diperkenalkan pada tahun 1950-an. Racun rumpai sentuh paraquat pertama kali dikilang oleh ICI pada tahun 1962 dan dijual dengan nama dagangan Gramoxone.Pada tahun 1974 racun rumpai glyphosate pertama keluaran Monsanto dipasarkan di UK dan Malaysia dengan nama dagangan Roundup.