Beliau telah berkahwin dengan Toh Puan Datin Ines Maria Reyna, seorang peranakan Peru dan Sepanyol. Beliau telah bertemu pertama kali pada 1959 di Lima, Peru sebagai pelajar antarabangsa. Mereka dikurniakan 3 cahaya mata: Mariana, Carlos Abdul Rashid dan Rosana. Carlos terbunuh bersama isteri Tun Musa, Rozita Datuk Abu Bakar sewaktu Tragedi Highland Towers pada Disember 1993.

Kemudian, beliau telah berkahwin dengan Zulaikha Sheardin (kini Toh Puan), yang mana mereka dikurniakan seorang anak lelaki, Hanif. Tun Musa mempunyai tiga orang cucu: Marisa, Lara dan Kaelen.