Apabila Sultan Abu Bakar mangkat, perubahan pemerintahan telah dirasai apabila Kerajaan British telah mula memperluas pengaruh mereka. Sedikit demi sedikit penasihat-penasihat di semua Daerah di Johor mula memecat orang-orang Melayu yang berkebolehan dalam pentadbiran dan pembangunan termasuk juga Dato' Luar.

Pada 3 April 1909, Dato' Luar telah menerima surat daripada Dato' Seri Amar DiRaja menyuruh beliau bersara daripada jawatannya. Dalam pentadbiran Batu Pahat juga tidak dikecualikan yang mana Pegawai-pegawai Negeri telah menukepada[Penjelasan diperlukan] mereka yang bijak menilai sama ada segala perkhidmatan Dato' Luar itu dikira sebagai jasa atau tidak.

Sepanjang hayat Dato' Luar, beliau telah membuktikan kesetiaannya kepada Raja dan telah membuktikan bahawa beliau mampu memperlihatkan hasil kerja yang terbaik dengan menggunakan daya usaha sendiri. Dato' Bentara Luar menuduh Dato' Luar membuat penyelewengan tetapi tidak dapat membuktikannya. Akhirnya pada 21 Mei, 1912, Dato' Luar terus bersara dan usia beliau ketika itu ialah 71 tahun. Beliau digantikan oleh Ungku Ahmad bin Ungku Muhamad Khalid menjadi Pesuruhjaya Kerajaan Batu Pahat. Di bawah Ungku Ahmad, Pesuruhjaya Kerajaan Daerah berpadu dengan Penolong Penasihat British untuk menjalankan pentadbiran.