Haji Abdul Rahman dilihat lebih berjaya bersama Perlis FA. Pada tahun 2005, Haji Abdul Rahman membantu Perlis memenangi Piala Sultan Haji Ahmad Shah dan Liga Super 2005. Beliau kemudian membantu Perlis memenangi Piala Malaysia 2006.

Haji Abdul Rahman juga pernah membimbing Malaysia dan dilantik pada Oktober 1998.[2] Kejohanan pertama yang disertainya ialah Sukan Asia Tenggara 1999. Pada kejohanan ini, Malaysia memenangi sebarang pingat dan lebih memalukan apabila tewas mengejut 0-6 kepada Indonesia.[3] Haji Abdul Rahman kemudian membimbing pasukan Malaysia untuk kelayakan Piala Asia 2000. Malaysia bermula baik pada peringkat awal dengan menewaskan Taipei Cina dan Thailand serta mengikat Korea Utara sebelum tewas tiga perlawanan yang terakhir kepada lawan yang sama.[4] Setelah gagal layak ke Lubnan, Haji Abdul Rahman meneruskan tugasnya dalam kempen Pestabola Merdeka dimana Malaysia muncul sebagai naib juara setelah tewas 0-2 kepada New Zealand.[5] Beliau kemudian membimbing pasukan Malaysia ke Piala Tiger 2000 dimana Malaysia mendapat tempat ketiga setelah menewaskan Vietnam 3-0.[6]