Kemudian menjabat Ketua DPC PKB Rembang tahun 2001 – 2015.
Pada tahun 2004 – 2005 Gus Yaqut menjadi anggota DPRD Rembang.
Baca Juga: 3 Sahabatnya Kini Diangkat Dampingi Jokowi, Hotman Paris Mengaku Tidak Laku Jadi Menteri
Hingga di tahun 2005 terpilih menjadi wakil Bupati Rembang periode 2005 – 2010.
Pada Kongres GP Ansor XV yang digelar di Pondok Pesantren Pandanaran, Sleman, Yogyakarta, Gus Yaqut terpilih secara aklamasi menjadi ketum GP Ansor periode 2015-2020 menggantikan Nusron Wahid.
Dia mendapat dukungan mayoritas pengurus cabang dan wilayah GP Ansor di seluruh Indonesia.
Baca Juga: Menparekraf Wishnutama Digantikan Sandiaga Uno, Begini Respon Gista Putri hingga Sule dan Andre
Pada 27 Januari 2015, Yaqut Cholil Qoumas dilantik menjadi Anggota DPR-RI periode 2014-2019 dari PKB.
Di tahun 2018 lalu sempat ramai video yang menunjukan pembakaran bendera hitam bertuliskan kalimat tauhid saat peringatan hari santri di Garut, Jawa Barat.
Gus Yaqut mengklaim bendera yang dibakar oknum anggotanya merupakan bendera HTI.