Abu Bakar menunjuk Umar sebagai penggantinya sebelum kematiannya, dan untungnya, komunitas muslim menerima hal ini. Pengganti Umar, Utsman bin Affan, dipilih oleh dewan perwakilan kaum muslim. tetapi kemudian, Utsman dianggap memimpin seperti seorang "raja" dibandingkan sebagai seorang pemimpin yang dipilih oleh rakyat. Utsman pun akhirnya terbunuh oleh seseorang dari kelompok yang tidak puas. Ali kemudian diangkat oleh sebagian besar muslim waktu itu di Madinah untuk menjadi khalifah, tetapi ia tidak diterima oleh beberapa kelompok muslim. Dia menghadapi beberapa pemberontakan dan akhirnya terbunuh setelah memimpin selama lima tahun. Periode ini disebut sebagai "Fitna", atau perang sipil islam pertama.
Bani Umayyah
Salah satu kelompok penentang ˤAlī adalah kelompok yang dipimpin oleh Gubernur Syam waktu itu Muawiyah bin Abu Sufyan, yang juga sepupu Utsman. Setelah kematian Ali, Muawiyah mengambil alih kekuasaan kekhalifahan. Dia kemudian dikenal dengan nama Muˤāwiyya, pendiri Bani Umayyah. Dibawah kekuasaan Muˤāwiyya, kekhalifahan dijadikan jabatan turun-menurun.Di daerah yang sebelumnya berada di bawah kekuasaan Persia dan Byzantium, bani Umayyah menurunkan pajak, memberikan otonomi daerah dan kebebasan beragama yang lebih besar bagi umat Yahudi dan Kristen, dan berhasil menciptakan kedamaian di daerah tersebut setelah dilanda perang selama bertahun-tahun.
Dibawah kekuasaan Bani Umayyah, kekhalifahan Islam berkembang dengan pesat. Di arah barat, umat Muslim menguasai daerah di Afrika Utara sampai ke Spanyol. Di arah timur, kekhalifahan menguasai daerah Iran, bahkan sampai ke India. Hal ini membuat Kekhalifahan Islam menjadi salah satu di antara sedikit kekaisaran besar dalam sejarah.
Meskipun begitu, Bani Umayyah tidak sepenuhnya didukung oleh seluruh umat Islam. Beberapa Muslim lebih mendukung tokoh muslim lainnya seperti Ibnu Zubair; sisanya merasa bahwa hanya mereka yang berasal dari klan Nabi Muhammad, Bani Hasyim, atau dari keturunan Ali (yang masih sekeluarga dengan Nabi Muhammad), yang boleh memimpin. Akibatnya, timbul beberapa pemberontakan selama masa kepemimpinan bani umayyah. Pada akhir kekuasaannya, pendukung Bani Hasyim dan pendukung Ali bersatu untuk meruntuhkan kekuasaan Umayyah pada tahun 750. Bagaimanapun, para pendukung Ali lagi-lagi harus menelan kekecewaan ketika ternyata pemimpin kekhalifahan selanjutnya adalah Bani Abbasiyah, yang merupakan keturunan dari Abbas bin Abdul-Muththalib, paman Nabi Muhammad, bukan keturunan Ali. Menanggapi kekecewaan ini, komunitas muslim akhirnya terpecah menjadi komunitas Syiah dan Sunni.
Bani Abbasyiah
Bani Abbasiyah berhasil memegang kekuasaan kekhalifahan selama tiga abad, mengkonsolidasikan kembali kepemimpinan gaya Islam dan menyuburkan ilmu pengetahuan dan pengembangan budaya Timur Tengah. Tetapi pada tahun 940 kekuatan kekhalifahan menyusut ketika orang-orang non-Arab, khususnya orang Turki (dan kemudian diikuti oleh orang Mameluk di Mesir pada pertengahan abad ke-13), mulai mendapatkan pengaruh dan mulai memisahkan diri dari kekhalifahan. Meskipun begitu, kekhalifahan tetap bertahan sebagai simbol yang menyatukan dunia Islam.Pada masa pemerintahannya, Bani Abbasiyah mengklaim bahwa dinasti mereka tak dapat disaingi. Namun kemudian, Said bin Husain, seorang muslim Syi'ah dari Bani Fatimiyah yang mengaku bahwa anak perempuannya adalah keturunan Nabi Muhammad, mengklaim dirinya sebagai Khalifah pada tahun 909, sehingga timbul kekuasaan ganda di daerah Afrika Utara. Pada awalnya ia hanya menguasai Maroko, Aljazair, Tunisia dan Libya. Namun kemudian, ia mulai memperluas daerah kekuasaannya sampai ke Mesir dan Palestina, sebelum akhirnya Bani Abbasyiah berhasil merebut kembali daerah yang sebelumnya telah mereka kuasai, dan hanya menyisakan Mesir sebagai daerah kekuasaan Bani Fatimiyyah. Dinasti Fatimiyyah kemudian runtuh pada tahun 1171. Sedangkan Bani Ummayah bisa bertahan dan terus memimpin komunitas Muslim di Spanyol, kemudian mereka mengkalim kembali gelar Khalifah pada tahun 929, sampai akhirnya dijatuhkan kembali pada tahun 1031.
Kekhalifahan "Bayangan"
Pada tahun 1258, pasukan Mongol di bawah pimpinan Hulagu Khan berhasil menguasai Baghdad, ibukota Kekhalifahan Abbasyiah, dan mengeksekusi Khalifah al-Mutasim. Tiga tahun kemudian, sisa-sisa Bani Abbasyiah membangun lagi sebuah kekhalifahan di Kairo, di bawah perlindungan Kesultanan Mameluk. Meskipun begitu, otoritas garis keturunan para khalifah ini dibatasi pada urusan-urusan upacara dan keagamaan, dan para sejarawan Muslim pada masa-masa sesudahnya menyebut mereka sebagai "khalifah bayangan".Kekaisaran Usmaniyah
Bersamaan dengan bertambah kuatnya Kesultanan Usmaniyah, para pemimpinnya mulai mengklaim diri mereka sebagai Khalifah. Klaim mereka ini kemudian bertambah kuat ketika mereka berhasil mengalahkan Kesultanan Mamluk pada tahun 1517 dan menguasai sebagian besar tanah Arab. Khalifah Abbasyiah terakhir di Kairo, Al-Mutawakkil III, dipenjara dan dikirim ke Istambul. Kemudian, dia dipaksa menyerahkan kekuasaannya ke Selim I.Walaupun begitu, banyak Kekaisaran Usmaniyah yang memilih untuk menyebut diri mereka sebagai Sultan, daripada sebagai Khalifah. Hanya Mehmed II dan cucunya, Selim, yang menggunakan gelar khalifah sebagai pengakuan bahwa mereka adalah pemimpin negara Islam.
