Pada Tabari (v.32, pp. 224-231) berkata bahawa bagaimana Al-Ma'mun sedang duduk di tepi sungai demgan berkata kepada sesiapa tentang bagaimana air bergerak dengan pantas. Beliau berkata apakah yang bagus tentang air ini dan berkata jenis tamar segar. Menyedari bekalan sudah tiba, beliau mengarahkan sesiapa untuk memeriksa sama ada ia dimasukkan. Sebaik mereka berada di sana ia mengajak sesiapa yang bersamanya untuk bersama dengan air. Sesiapa yang melakukan ini akan jatuh sakit. Yang lain disembuhkan. Tetapi al-Ma'mun meninggal. Semasa ia nazak, beliau mengakui kepercayaannya kepada Tuhan. Beliau berharap penggantinya meneruskan polisinya dan tidak memaksa rakyatnya lebih daripada apa yang mampu ditampungnya. Perkara ini berlaku pada 9 Ogos 833 M..

Al-Ma'mun mangkat berdekatan bandar Tarsus. Masjid besar bandar itu mengandungi makamnya. Beliau telah digantikan oleh adik lelakinya iaitu al-Mu'tasim.