Masjid Agung Al-Azhar (MAA) didirikan oleh Yayasan Pesantren Islam ( YPI ) pada tanggal 19 Nopember 1953 di atas tanah milik Yayasan seluas 43.755 m2 dan selesai dibangun tahun 1958.Pada tahun 1960 Prof. Dr. Mahmoud Syaltout (Rektor Universitas Al-Azhar Mesir) dalam kunjungannya ke Masjid Agung Kebayoran Baru Jakarta, memberikan kuliah umum kepada jamaah masjid, dan memberi nama ”Al-Azhar” kepada Masjid ini, yang sebelumnya lebih dikenal dengan nama ”Masjid Agung Kebayoran Baru”.

Pada tahun 1962 dalam kiprahnya membina pemuda dan pemudi Islam, MAA mengadakan kegiatan Pramuka Gugus Depan dan sore harinya Pendidikan Islam Al-Azhar (PIA). Setelah Orde Lama tumbang dan lahirlah Orde Baru membawa angin segar bagi dakwah Islam khususnya bagi umat Islam. MAA mulai mendiirikan lembaga pendidikan formal (th 1967), diawali dengan TK Islam Al-Azhar dan seterusnya susul menyusul mendirikan SDIA, SMPIA, SMAIA dan pada akhirnya mendirikan Universitas Al Azhar Indonesia.