HMS Challenger meninggalkan Cape Town (kini Afrika Selatan) pada 20 Mac 1829. Kapal tersebut berlabuh di Cockburn Sound pada 2 Mei 1829 dan Fremantle mendarat sepenuhnya di Garden Island, barat Australia. Seminggu kemudian, Fremantle mendeklarasikan Sungai Swan dan menuntut hak milik untuk diserahkan kepada Raja England,George IV.

Leftenan Gabenor James Stirling tiba diCockburn Sound pada 2 Jun 1829 dengan rombongan ekspedisinya, Parmelia. Mereka merancang untuk mengambil alih Sungai Swan di barat Australia.Pada 8 Jun 1829, mereka bersama-sama 56 pegawai tentera lelaki menyertai rombongan dengan ekspedisi pelayarannya, HMS Sulphur ke Sungai Swan. Akhirnya pada 17 Jun 1829, Stirling mengishtiharkan mengenai perjanjian yang sah yang telah disokong oleh deklarasi Fremantle terlebih dahulu ke atas Sungai Swan. Ini merupakan titik permulaan peristiwa bersejarah dimana sebahagian kawasan di barat Australia telah dijajah secara rasminya oleh pihak Koloni British dan kemudiannya dijadikan sebuah negeri di dalam Persekutuan Australia tidak lama kemudian.

Fremantle kemudian meninggalkan Sungai Swan pada 25 Ogos 1829 untuk meneruskan ekspedisinya ke Ceylon (kini Sri Lanka) dimana mereka menjadikan kawasan tersebut sebagai markas tentera laut British yang baharu untuk tempoh masa selama dua tahun.

Namun, beliau tetap berlayar di beberapa tempat termasuk di Kowloon, (kini Hong Kong). Beliau menyakinkan pihak British untuk menjajah kawasan tersebut. Akhirnya Hong Kong dijajah pada tahun 1841.

Dalam perjalanan pulangnya ke tanah air pada bulan September 1832, beliau sempat melawat buat kali kedua dan terakhirnya di Koloni Sungai Swan.

Pada tahun 1833, beliau berlabuh di Pitcairn Island, dimana beliau membuat perdamaian dengan pemimpin tempatan disana antaranya Joshua Hill (pemimpin di Pitcairn Island) dan George Hunn Nobbs.

Sepuluh tahun kemudian, pada tahun 1843, beliau diberikan arahan untuk mengetuai ekspedisi pelayaran HMS Inconstant di lautan Mediterranean. Pada tahun 1847, beliau mengetuai ekspedisi HMS Albion dan dilantik menjadi Kapten HMS Juno pada tahun 1853 yang berpengkalan di Australia.

Pada tahun 1855, beliau yang ketika itu berpangkat Laksamana Utama, telah dihantar untuk mencurahkan baktinya semasa Perang Krimea dari Balaklava (kini sebuah bandar utama di Ukraine). Selepas tamat peperangan, beliau dilantik sebagai Komander di Channel Squadron. Jawatan terakhirnya ialah Ketua Komander di Plymouth pada tahun 1863 sehingga ke akhir hayatnya.