Secara singkat dapat ditegaskan bahwa dalam pemikiran politik Islam yang paling awal, yakni pada masa Nabi Muhammad saw, Madinah merupakan tempat yang dipilih Nabi untuk menetap setelah terzalimi di Makkah. Pada masa tahun pertama itu terdapat sedikit kontroversi mengenai siapa yang pantas mengendalikan kekuatan politik. Dalam teori maupun praktik, Nabi menempati suatu posisi yang unik sebagai pemimpin dan sumber spiritual undang-undang Ketuhanan, namun sekaligus juga pemimpin pemerintahan Islam yang pertama.
Kerangka kerja konstitusional pemerintahan ini terungkap dalam dokumen yang terkenal dengan Mithaq al-Madinah (Konstitusi Madinah/Piagam Madinah). Model Piagam Madinah inilah yang menjadi warisan Nabi, meskipun sebelumnya telah ada praktik pengakuan yang disebut sebagai bay’ah (baiat): dikenal dengan Bay’ah Aqabah Pertama dan Bay’ah Aqabah Kedua.
Pada masa al-Khulafa’ al-Rashidun, terdapat beberapa prinsip tentang wewenang politik dalam Islam. Prinsip pertama yang diucapkan Abu Bakr menyatakan: orang-orang Arab hanya akan tunduk kepada suku Quraysh; dan kewajiban menaati pemerintah hanya sejauh dia menaati Tuhan dan rasul-Nya.
Implikasi dari prinsip itu adalah keyakinan bahwa masyarakat merupakan penentu, apakah khalifah benar-benar mengikuti perintah Tuhan dan Nabi. Ini berarti bahwa wewenang tertinggi ada pada masyarakat. Abu Bakr juga percaya bahwa dia mewakili otoritas Nabi. Ini mengimplikasikan bahwa meskipun otoritas secara teoretis berada pada masyarakat, wewenang politik tertinggi pada praktiknya tetap berada di tangan seseorang.
Hal ini dipertegas oleh penolakan Abu Bakr terhadap saran dari kalangan Anshar tentang otoritas bersama antara dua pemimpin, satu dari Quraysh dan satu lagi dari Anshar. Di kemudian hari, Abu Bakr menentukan jalan yang bijaksana untuk menunjuk seorang penerus (model wasiat) demi menghindari terulangnya keadaan yang membingungkan pasca wafatnya Nabi. Kemudian Umar juga mengikuti cara yang sama.