Ayahnya bekerja sebagai pegawai negeri sipil di daerah Omben, Sampang.
Pada saat menginjak usia dua bulan, keluarganya bermigrasi ke Waru, Pamekasan.
Mahfud MD mengenyam pendidikan dasarnya di sekolah dasar negeri dan juga mengikuti pendidikan keagamaan di madrasah ibtidaiah milik Pondok Pesantren Al-Mardhiyyah.
Setelahnya, Mahfud MD dipindahkan ke Pondok Pesantren Somber Lagah pimpinan Kyai Mardhiyyan di Tagangser Laok. Saat itu, Mahfud duduk di bangku kelas lima sekolah dasar.