Umar bin Abdul Azis lahir pada tahun 63 H / 682 M di kota suci Madinah, merupakan keturunan dari Umar bin Khattab. Ayahnya bernama Abdul Azis bin Marwan yang merupakan Gubernur Mesir dan ibunya bernama Ummu Asim binti Asim.
Umar bin Abdul Azis tumbuh dibawah pengajaran kakeknya di Madinah, yaitu Abdullah bin Umar, sahabat Nabi, sekaligus anak dari Umar bin Khattab. Beliau juga merupakan salah seorang periwayat Hadits terkenal.
Tumbuh dibawah pengajaran guru-guru yang sebagian besar merupakan sahabat Nabi, membuat umar menjadi sosok yang cerdas dan cinta pada Al-Qur’an . Pernah suatu ketika beliau mengingat tentang kematian kemudian menangis setelah membayangkan semua yang terjadi pada umurnya.
Sampai-sampai ibunya mendengar tangisannya, dan bertanya kepada Umar, “mengapa kamu menangis ? “ beliau berkata : “Aku ingat mati, maka Ibunya pun juga ikut menangis”, seluruh hidup beliau bersama Al-Qur.an, mempelajari serta mengamalkan perintah di dalamnya
Ketika usai menyelesaikan pendidikannya, Umar bin Abdul Azis dinikahkan dengan putri Khalifah Abdul Malik, yaitu Fatimah binti Abdul Malik. Kemudian setelah menikah, beliau diangkat menjadi Gubernur di Khusnasirah, Syiriah pada tahun 85 H, setelah sebelumnya sempat menjadi menjadi Gubernur di Madinah.
Umar bin Abdul Azis mejadi Khalifah pada tahun 717 M, menggantikan Khalifah Sulaiman bin Abdul Malik. Beliau dipilih menjadi Khalifah karena putra satu-satunya dari Khalifah Sulaiman, yaitu Ayyub bin Sulaiman, wafat terlebih dahulu.
Setelah diangkat menjadi Khalifah, beliau berjanji akan memerintah dengan berpedoman teguh pada Al Quran dan Hadist. Sebagaimana dalam pidatonya, Khalifah Umar Ibn Abdul Aziz berkata :
”Rasulullah SAW dan para Khulafatur Rasyidin telah menetapkan sunah-sunahnya. Barang siapa menaatinya sama artinya dengan membenarkan kitab Allah, menyempurnakan ketaatan kepada Allah, dan mengkokohkan agama Allah untuk dirinya.
Manusia tidak boleh mengganti, merubah ataupun mencari yang lain, yang bertentangan dengan hal tersebut, dan barang siapa yang berpedoman padanya dia akan memperoleh petunjuk. dan barang siapa yang memenangkannya maka dia akan menang, dan barang siapa yang meninggalkannya, maka dia akan masuk neraka yang seburuk buruknya hunian.”
Setelah menjadi Khalifah, hidupnya pun berubah drastis, sebelum menjadi Khalifah beliau hidup bergelimang harta, sehingga terkadang beliau berfoya-foya. Oleh karena itu, untuk menebus kesalahanya dahulu, beliau menjauhkan diri dari kenikmatan dunia.
Beliau menjual kendaraan untuk Khalifah kemudian hasilnya dimasukan ke Baitul Māl, beliau juga mengembalikan semua perkebunan yang pernah diberikan padanya. Setelah itu, beliau melepaskan semua tanah dan benda yang telah diwariskan padanya, semua pakaian-pakaian yang mahal diganti dengan pakaian-pakaian yang sederhana. Bahkan beliau menolak untuk dilayani oleh orang lain, beliau ingin melayani dirinya sendiri.
Dikisahkan juga bahwa Khailifah Umar Ibn Abdul Aziz meminta istrinya untuk memilih perhiasan atau dirinya, dan akhirnya istrinya menyerahkan perhiasan-perhiasannya ke Baitul Māl karena lebih memilih khalifah Umar Ibn Abdul Aziz.
Setelah membersihkan dirinya sendiri dan keluarganya, Khalifah Umar kemudian berusaha membersihkan masyarakat dari perbuatan perbuatan yang selama ini melanggar hukum-hukum Agama, Khalifah Umar ingin mengembalikan milik negara kepada negara, yang selama ini disalahgunakan oleh para pejabat yang berkuasa sebelum beliau.