Kavadi itu sendiri terbenam jauh dalam mitos. Di Gunung Kailas, Dewa Siva mengamanahkan Bijaksana Agastya saint kerdil dengan dua anak bukit, dengan arahan bagi mengalih dan meletakkannya di Selatan India. Tetapi bijaksana meninggalkannya dalam hutan dan kemudiannya menyuruh anak buahnya, Idumban bagi mengambilnya. Idumban menjumpai kedua anak bukit tersebut, tetapi pada awalnya tidak mampu mengangkatkannya, sehinga dia menerima bantuan dewa-dewa. Berhampiran Palani di Selatan India – di mana sehingga hari ini terdapat kuil Murugan yang terkenal — Idumban meletakkan anak bukit tersebut untuk berehat sebentar. Apabila dia cuba meneruskan perjalanannya, dia mendapati bahawa anak bukit tersebut tidak dapat dialihkan.

Idumban tersebut mendakwa bahawa anak bukit tersebut kepunyaannya. Dalam pergelutan berikutnya, Idumban dikalahkan. Idumban kemudian menyedari bahawa pemuda tersebut merupakan Dewa Murugan. Idumban memohon ampun dan meminta agar sesiapa yang datang ke anak bukit untuk memuja Murugan dengan objek yang menyerupai dua anak bukit digantung oleh galang, akan diperkenankan permintaannya. Permintaan Idumban dikabulkan. Dan dengan itu wujudkan peranan kavadi dalam perayaan Hindu.