Setelah lulus SMA, Sarmuji melanjutkan pendidikan di Jurusan Manajemen, Fakultas Ekonomi, Universitas Jember, dan meraih gelar sarjana pada tahun 2000.
Ia kemudian melanjutkan studi ke Program Pascasarjana Universitas Indonesia (UI) dan meraih gelar Master di bidang Administrasi Bisnis pada tahun 2006.
Selain berkarier di dunia politik, Sarmuji juga aktif dalam organisasi mahasiswa.
Ia merupakan anggota Himpunan Mahasiswa Islam (HMI) dan pernah menjabat sebagai Ketua Bidang PPN di Pengurus Besar HMI. ***