Gusmão, yang dari keturunan mestiço, lahir di Manatuto di wilayah yang dulunya dikenali sebagai Timor Portugis dan dididik di sebuah sekolah tinggi Jesuit di luar bandar Dili. Selepas meninggalkan sekolah tinggi disebabkan masalah kewangan pada umur 16 tahun, beliau telah bekerja dalam beberapa pekerjaan sambil melanjutkan pelajaran di sebuah sekolah malam. Pada 1965 apabila berumur 19 tahun, beliau bertemu dengan Emilia Batista yang kemudian menjadi isterinya.

Pada 1966 Gusmão berjaya memperolehi sebuah pekerjaan di perkhidmatan awam yang membolehkannya untuk meneruskan pendidikannya. Pelajarannya terganggu pada 1968 apabila beliau dikerahkan ke dalam tentera Portugis untuk menjalani perkhidmatan negara. Gusmão berkhidmat selama 3 tahun dan mendapat pangkat kopral. Pada masa ini, beliau telah berkahwin dengan Emilia Batista, dan mendapat dua orang anak; anak lelaki, Eugenio dan anak perempuan, Zenilda. Beliau telah bercerai dengan Emilia yang kini sedang menetap di Australia.

Tahun 1971 merupakan titik permulaan bagi Gusmão dalam penglibatannya dalam gerakan pembebasan Portugis Timor. Beliau terbabit dengan sebuah pertubuhan nasionalis yang diketuai oleh José Ramos Horta. Untuk tiga tahun yang berikutnya, beliau melibatkan diri secara aktif dalam bantahan aman yang diarahkan kepada kerajaan penjajah.

Sebuah rampasan kuasa yang berlaku di Portugal pada 1974 mengakibatkan permulaan kemerdekaan bagi wilayah Portugis Timor. Tidak lama kemudian, Gabenor Mário Lemos mengumumkan rencananya untuk memberi kemerdekaan kepada Timor. Sebuah pilihanraya telah dirancangkan untuk Timor dengan tujuan untuk memerdekakannya pada 1978.

Sepanjang 1975, sebuah pertelingkahan dalaman berlaku di antara dua puak utama di Portugis Timor. Gusmão yang terlibat dengan kumpulan FRETILIN telah ditangkap dan dipenjarakan oleh kumpulan saingan Kesatuan Demokratik Rakyat Timor (UDT) di pertengahan 1975. Pada lewat 1975, apabila FRETILIN berjaya menjadi kuasa utama di Timor mereka telah membebaskan Gusmão dari penjara. Gusmão dilantik sebagai Setiausaha Akhbar di dalam kumpulan FRETILIN. Pada 28 November, 1975, FRETILIN mengisytiharkan kebebasan Portugis Timor sebagai, "Republik Demokratik Timor Timur", dan Gusmão bertanggungjawab mengfilemkan peristiwa bersejarah ini.

Namun, pertelingkahan dalaman yang berlaku di antara FRETILIN dan UDT telah melemahkan kedua-dua pihak. Indonesia pada masa itu memiliki hasrat untuk menyerap Portugis Timor dalam negaranya. Kerajaan Indonesia mengambil kesempatan dari pertelingkahan ini dengan melancarkan beberapa serangan dari Indonesia Timor. Sembilan hari setelah kemerdekaan Portugis Timor, Indonesia telah menyerang dan berjaya menakluk negara Timor Timur.