Pembangunan Masjid Gedhe dan Serambi Masjid tidak dibangun secara bersamaan,akan tetapi serambi Masjid dibangun dua tahun kemudian. Hal ini untuk memenuhi kebutuhan karena jumlah jamaah yang semakin banyak, sehingga ruangan utama tidak mencukupi untuk menampung jamaah.
Pembangunan Serambi Masjid Gedhe ini dilakukan pada tanggal 20 Syawwal tahun Jimawal tahun 1701 tahun Jawa, yang tertulis dalam dua buah prasasti yang terletak di ujung utara dan selatan dinding bangunan utama masjid .
“Pemut pangadegipun serambi hing dinten kemis tanggal ping kalih dasa sasi sawal hing tahun jimawal sinengkalan yitna windu resi tunggal”
Peringatan berdirinya serambi pada hari Kamis tanggal dua puluh bulan sawal pada tahun Jimawal dengan sengkalan yitna windu resi tunggal (1701 J)
“Pemut pangadegipun serambi hing dinten kemis tanggal ping kalih dasa sasi sawal tahun jimawal sinengkalan tunggal windu pandita ratu”
Peringatan berdirinya Serambi pada hari Kamis tanggal dua puluh Sawal tahun Jimawal dengan sengkalan tunggal windu pandhita ratu (1701 J)
sumber terjemahan prasasti :
M. Chawari dalam srkipsi berjudul “PASANG SURUT MASA PERKEMBANGAN PEMBANGUNAN MASJID BESAR KAUMAN YOGYAKARTA” Studi Berdasarkan Sumber Prasasti Tahun 1989