Cuaca panas yang begitu terik ketika perayaan Hari Bastille membuatkan Perdana Menteri keletihan. Pada petang tersebut, beliau mengalami demam, dan kemudian susah tidur dan terganggu oleh mimpi ketika ia melihat mantan ratu Rasoherina berdiri di samping tempat tidurnya dan berkata, "Atas nama saudaramu, Rainivoninahitriniony, bersiaplah." Salah satu hamba Rainilaiarivony melaporkan mimpi ini kepada Vassé dan menjelaskannya sebagai firasat kematian Rainilaiarivony. Beliau tetap terbaring di tempat tidur dan kemudian keadaan kesihatannya makin teruk. Demamnya semakin parah dan beliau juga mengalami sakit kepala. Di tengah-tengah penderitaan ini, ia terus ditemani oleh sahabat-sahabat dekatnya dan orang-orang yang dicintainya. Rainilaiarivony meninggal ketika dalam tidur pada tanggal 17 Julai 1896.[1]

Jenazah Rainilaiarivony awalnya disemayamkan di sebuah makam batu di Aljir.[2] Pada tahun 1900, sisa-sisa jenazah mantan Perdana Menteri ini digali dan diangkut ke Madagascar lalu dikebumikan di makam keluarga yang dibangunkan oleh Jean Laborde di kawasan Isotry di Antananarivo. Gabenor Jeneral Madagascar Perancis Gallieni dan cucu Rainilaiarivony berpidato di pemakamannya, yang dihadiri oleh orang-orang terhormat dari Perancis dan Madagascar.[3] Dalam pidatonya, Gallieni mengungkapkan rasa hormatnya kepada mantan Perdana Menteri dengan perkataan berikut: "Rainilaiarivony memang layak memimpin kalian. Pada tahun-tahun yang akan datang, apakah akan ada sebuah tugu peringatan yang didirikan untuk mengenangnya? Ini harus menjadi kewajipan bagi orang Madagascar yang memiliki kebebasan untuk melakukannya. Perancis kini telah mengambil Madagascar, (...) tetapi Rainilaiarivony telah berjasa melindunginya sebagaimana yang dia telah lakukan."[4] Seusai pemakaman, sebuah plat peringatan dipasang di makam keluarga Rainilaiarivony, dan di plat tersebut terukir pernyataan "Rainilairivony, ex Premier Ministre et Commandant en chef de Madagascar, Commandeur de la Légion d'honneur" ("mantan Perdana Menteri dan Panglima Tertinggi Madagascar, Komandan Legiun Kehormatan").[5]