Saat itu, kata Hendropriyono, BJ Habibie pun datang ke Al-Zaytun untuk meresmikan ponpes tersebut. 

Setelahnya, Hendropriyono mengaku tidak pernah mengetahui lagi bagaimana kelanjutan Al-Zaytun.

Sampai kemudian, pada masa pemerintahan Presiden ke-5 Megawati Soekarnoputri, Hendropriyono diminta untuk menggantikan Ketum PDIP itu menghadiri peletakkan batu pertama untuk gedung pembelajaran. 

Saat itu Hendropriyono menjabat sebagai Kepala BIN.

"Saya pun pergi ke sana lewat darat, untuk meletakkan batu pertama gedung pembelajaran yang namanya gedung Doktor Ir Soekarno, saat itu pertama kali saya kenalan dengan Panji Gumilang," ucapnya.

Dia melihat ponpes Al-Zaytun saat itu merupakan ponpes yang cukup modern. 

Menurutnya, secara ideologi politik, tidak ada masalah dengan ponpes Al-Zaytun.

"Secara politik saya kira tidak ada masalah waktu itu, karena Presiden RI yang meresmikan, artinya kalau dalam perkembangannya itu berbeda, tentu saja pengetahuan saya ini pengetahuan zaman saya, tahun 1999 pertama kali saya dengar nama Al-Zaytun. 

Dan 2001 apa 2002 saya lupa itu kedua kalinya saya tau Al-Zaytun," jelasnya.

Hendropriyono lantas merasa aneh jika dikaitkan dengan polemik Al Zaytun saat ini. 

Sebab, dia merasa tidak memiliki kekuatan membekingi Panji Gumilang.