Berawal dari pengajian keliling, Pondok Pesantren Asrarur Rafiah berkembang menjadi pesantren putri yang cukup disegani di Cirebon, Jawa Barat. Asrarur Rafiah kemudian dikenal sebagai pondok yang banyak menelurkan santri putri yang menguasai kitab kuning.
Semua bermula dari kegigihan Nyai Khomisah yang memelopori pengajian keliling untuk kaum hawa. Pada awal 1960-an, Nyai yang berasal dari Linggapura, Tegal, itu rajin keliling blusukan ke desa-desa di daerah Cirebon untuk menggelar pengajian. Materi pengajiannya adalah Aqoid 50, yang memuat mengenai pokok-pokok agama.
Suatu hari, sampailah pengajian Nyai Khomisah ini di Desa Babakan, Kecamatan Ciwaringin, Cirebon. Di Desa Babakan ini, salah satu orang yang mengukuti pengajiannya adalah Nyai Rofi’ah, istri dari Kiai Asrar. Setelah itu, secara khusus Nyai Rofi’ah berguru kepada Nyai Khomisah perihal Aqoid 50 ini.
Setelah menguasai ilmu Aqoid dari Nyai Khomisah, akhirnya Nyai Rofi’ah membuat pengajian sendiri, menularkan ilmunya kepada masyarakat sekitar Babakan, khususnya untuk kaum perempuan. Rupanya, pengajian yang diadakan Nyai Rofi’ah menarik minat masyarakat setempat. Makin hari, orang-orang yang datang untuk ikut mengaji kian banyak. Perempuan tua dan muda. Tak hanya dari Desa Babakan, mereka datang dari desa-desa tetangga. Banyak di antara mereka ini yang malah tidur di rumah Nyai Rofi’ah, berjubel sampai ke dapur.
Saat itu, di Desa Babakan dan sekitarnya sebenarnya sudah banyak pesantren, baik besar maupun kecil. Namun, sejauh itu belum ada pesantren khusus untuk perempuan. Nah, melihat animo masyarakat mengikuti pengajian Nyai Rofi’ah begitu tinggi, salah seorang kiai di Babakan, KH Muhtadi Syarif, punya ide membuat asrama bagi santriwati. Ide tersebut kemudian disampaikan kepada istrinya, Mimi atau Nyai Mahsunah. Kemudian, usulan disampaikan kepada Nyai Rafi’ah sendiri dan suaminya, Kiai Asrar.