Tahun 1990, begitu ia lulus dari Unair, Akbar Tanjung kemudian langsung memberinya pekerjaan sebagai Staf Khusus Menteri Pemuda dan Olahraga Akbar Tandjung hingga tahun 1993. Periode 1992-1994 atas dedikasinya yang tinggi di HMI, Yahya Zaini kemudian berhasil terpilih sebagai Ketua Umum PB HMI. Sebuah jabatan yang mentereng bagi sebagian aktivis mahasiswa saat itu.
Yahya terus mengikuti kesuksesan Akbar Tanjung sebagai mentornya. Selain HMI jabatan kepemudaan yang pernah ia geluti adalah KNPI, Yahya Zaini juga pernah menduduki posisi Ketua Bidang di KNPI periode kepemimpinan Maulana Isman pada tahun 1996 sampai 1999. Aktivitasnya di HMI dan Komite Nasional Pemuda Indonesia serta kedekatannya dengan Akbar Tanjung mendorongnya masuk ke gedung parlemen pada periode 1997-1999.
Tentu saat itu Yahya Zaini melenggang ke Senayan melalui Partai Golkar. Dalam kabinet pengurus pusat Golkar periode 1998-2004 yang dipimpin Akbar Tandjung, ia menjadi Wakil Ketua Departemen Organisasi, Kaderisasi, dan Keanggotaan.
Kariernya di parlemen berlanjut setelah Golkar menjadi pemenang Pemilihan Umum 2004. Setelah melalui KNPI, karir Yahya Zaini di bidang politik semakin bersinar hingga menjadi Anggota DPR-RI pada periode 2004-2009.
Nasib baik Yahya memang tak bisa dilepaskan dari campur tangan Akbar Tanjung, seniornya di HMI. Tapi, pada Musyawarah Nasional Golkar 2004, Yahya mengambil peranan dalam menggagalkan ambisi Akbar mempertahankan kursi ketua umum. Ia berpihak ke kubu lawan, Wakil Presiden Jusuf Kalla dan Ketua DPR-RI Agung Laksono. Sepertinya Akbar Tanjung berhasil mengkader Yahya Zaini, hingga dirinya berani berseberangan.
Kerja kerasnya menggolkan Jusuf Kalla berbuah jabatan baru di Golkar sebagai koordinator bidang agama dan Sekretaris Fraksi Partai Golkar di Dewan Perwakilan Rakyat.
Selain aktif di dunia organisasi dan politik, nyatanya Yahya Zaini juga terlibat aktif dalam berbagai bidang profesional usaha. Seperti pada tahun 1995 sampai tahun 1997, Yahya Zaini mendirikan PT. Intelegensia Graha Pratama, saat itu ia memimpin langsung perusahaan tersebut dengan memegang jabatan sebagai Direktur Utama.
Lalu pada tahun 2019 Yahya Zaini bertindak sebagai Komisaris Utama dari PT. Savindo Karya Perdana. Dan di tahun 2010 sampai tahun 2019 juga menjabat sebagai Komisaris Utama PT. Jaya Abadi Sukses.
Karir politiknya terbilang lebih baik dibanding karir profesional di bidang bisnis. Karena memang di situlah bakat dan kapasitas seorang Yahya Zaini sesungguhnya. Terbukti, sejak tahun 1997 ketika ia pertama menjejakkan kakinya di gedung Senayan, Yahya Zaini telah terpilih kembali sebanyak tiga periode lagi, yakni di masa jabatan 1999 sampai 2004, 2004 sampai 2009, dan terakhir di periode 2019 sampai 2024.
Pada Pemilu 2019, Yahya Zaini berhasil memperoleh 73.600 suara dari Dapil Jawa Timur VIII yang meliputi Jombang, Nganjuk, Kabupaten, Kota Mojokerto, dan Kota Madiun. Yahya Zaini lantas ditempatkan oleh Fraksi Partai Golkar di Komisi IX DPR RI dengan ruang lingkup bidang Kesehatan, Ketenagakerjaan, dan Kependudukan.
Selama berada di Komisi IX DPR RI, banyak hal telah dilakukan oleh Yahya Zaini, di antaranya adalah rapat kerja Komisi IX dengan Menteri Kesehatan, Ketua Dewan Jaminan Sosial Nasional (DJSN), Dewan Pengawas BPJS Kesehatan, Direktur Utama BPJS Kesehatan menyoal