Umar dilahirkan pada tahun 682[1]. Ada dua pendapat mengenaai tempat kelahirannya iaitu pendapat pertama dia dilahirkan di Madinah manakala pendapat kedua mengatakan dia dilahirkan di Mesir. Bapanya ialah Abd al-Aziz, Gabenor Mesir dan adik kepada Khalifah Abdul Malik bin Marwan. Umar ialah cicit kepada Khalifah kedua Khulafa al-Rasyidin iaitu Saidina Umar Al-Khatab.

Menjadi Gabenor Madinah

Umar dibesarkan di Madinah dan tinggal di sana sehinggalah kematian ayahnya. Selepas itu dia dipanggil oleh Khalifah Abdul Malik ke Damsyik untuk mengahwini anak Khalifah Abdul Malik, Fatimah. Khalifah Abdul Malik meninggal dunia tidak lama kemudian dan digantikan dengan anaknya Al-Walid I yang kemudian melantik Umar sebagai Gabenor Madinah. Tidak seperti gabenor terdahulu, Umar menubuhkan sebuah majlis untuk membantunya menguruskan Madinah. Ramai orang berhijrah dari Iraq ke Madinah mencari perlindungan daripada kekejaman gabenor Iraq iaitu Hajjaj ibn Yusuf. Hal ini mendatangkan kemarahan Gabenor Iraq yang kemudiannya mendesak Khalifah Al-Walid supaya memecat Umar. Walaupun mendapat bantahan penduduk Madinah, Khalifah Al-Walid terpaksa tunduk kepada tuntutan Hajjaj.