Sewaktu umat Islam berhijrah ke Madinah, beliau mengikuti ekspidisi tersebut. Setibanya Abdur Rahman di Madinah, beliau dipersaudarakan oleh baginda kepada seorang sahabat dari golongan Ansar iaitu Sa'ad ibn Ar-Rabi'ah.

Abdur Rahman juga merupakan ahli jawatankuasa Syura yang berenam. Sewaktu pemilihan khalifah ketiga selepas peristiwa pembunuhan Umar Al-Khattab, beliau merupakan salah seorang calonnya. Namun, Abdul Rahman enggan sebaliknya menetapkan pemilihan khalifah jatuh kepada Uthman bin Affan.