Menurut sejarah lisan, nama asal bandar tersebut sebenarnya Simpang Pulai sempena sebatang pokok Pulai yang tumbuh di tengah-tengah simpang empat yang menghubungkan laluan ke Kluang, Johor Bharu, Batu Pahat dan Yong Peng serta Segamat.

Menurut Ketua Kampung Ayer Hitam Pekan, Amin Sitam, penduduk di kawasan Simpang Pulai kemudian menukar nama itu kepada Ayer Hitam memandangkan terdapat aliran air bukit yang berwarna kehitam-hitaman turun dan mengalir ke sekitar kawasan itu. Sungguhpun tidak dapat dipastikan tahun tepat kawasan itu mendapat nama Ayer Hitam namun dipercayai awal kurun ke-20.

Ayer Hitam kini ditadbir di bawah Majlis Daerah Yong Peng namun berada di dalam daerah Batu Pahat.

Ayer Hitam telah muncul sebagai pusat industri seramik berikutan terdapatnya sumber tanah liat berkualiti tinggi yang banyak di kawasan itu.