Pada tahun 1933 atas prakarsa Sri Sultan Hamengku Buwana VIII, lantai serambi masjid yang tadinya dari batu kali diganti dengan tegel kembangan yang indah. Selain itu pula diadakan penggantuian atap masjid, dari sirap diganti dengan seng wiron yang tebal dan lebih kuat. Pada tahun 1936 atas prakarsa Sultan Hamengku Buwana VIII pula diadakan pergantian lantai dasar masjid, yang dulunya dari batu kali kemudian diganti dengan marmer dari Italia.
Peristiwa perbaikan Masjid ini diabadikan dalam dua buah prasasti :
Prasasti Bahasa Arab
بِسْمِ اللهِ اَبْدَاُ تَصْلِيْحَ هَذَ الْمَسْجِدِ فِى يَوْمِ الْاَحَدِ رَابِعَ عَشَرَمِنَ الرّجَبِ فِى تَرِحِ جُوْعِ غُرسَنَةَ 1279 اَلدَّالِ وَاَتْمَمْتُ ذَلٍكَ بِحَمْدِ اللهِ فِى رَبِعِ الْاَوَّلِ فِى تَرِيْحِ غَفَرْسَنَتَ 1280 اَلْبَاءِ
Bismillahi abdau taslikha hadzal masjidi fii ysumil akhadi rabi’a ‘asyara minarrajabi fii tarikhi ju’igur sanata 1279 addali wa atmamtu dzalika bihamdika fi rabi’il awwali fi tarikhi ghofar sanata 1280 al ba-i
Dengan nama Allah saya memulai perbaikan Masjid ini pada hari ahad tanggal 14 rojab pada tahun junggur 1279 tahun dal dan telah saya sempurnakan perbaikan ini dengan mengucap syukur kpd Allah pada bulan Robiul awwal pada tahun ghafar 1280 tahun dal.
(kaligrafi bingkai atas al baqarah 114)
وَمَنْ أَظْلَمُ مِمَّنْ مَنَعَ مَسَاجِدَ اللَّهِ أَنْ يُذْكَرَ فِيهَا اسْمُهُ وَسَعَىٰ فِي خَرَابِهَا أُولَٰئِكَ مَا كَانَ لَهُمْ أَنْ يَدْخُلُوهَا إِلَّا خَائِفِينَ
Dan siapakah yang lebih aniaya daripada orang yang menghalanghalangi menyebut nama Allah dalam mesjid-mesjid-Nya, dan berusaha untuk merobohkannya? Mereka itu tidak sepatutnya masuk ke dalamnya (mesjid Allah), kecuali dengan rasa takut (kepada Allah)
(kaligrafi bingkai bawah kiri hud 114)
إِنَّ الْحَسَنَاتِ يُذْهِبْنَ السَّيِّئَاتِ
Sesungguhnya perbuatan-perbuatan yang baik itu menghapuskan (dosa) perbuatan-perbuatan yang buruk
(kaligrafi bawah kanan)
لَا صَلَاةَ لِجِيْرَنِ الْمَسْجِدِ اِلَّا فِى الْمَسْجِدِ
Tidak sah shalatnya bagi yang rumahnya berdekatan dengan masjid kecuali shalat di masjid
Prasasti Huruf Jawa
Pemut kala kagungan dalem Masjid kamulyakhaken sirapipun hing dinten ahad kaping 14 wulan rajab tahun dal sinengkalan batara trus sabdaning ratu kala rampungipun hing wulan rabingulawal be 1792
Peringatan ketika pemilik masjid memuliakan (memperbaiki) sirapnya pada hari ahad 14 rajab tahun dal dengan sengkalan batara trus sabdaning ratu ketika selesainya pada bulan rabi’ul awal Be 1792
(tulisan atas) boten sampurna salatipun tayang hing griya kewate ….. kedah salat jamangah
Tidak sempurna shalatnya orang dirumah kecuali ? …..harus sholat berjamaah
(tulisan bawah)satuhune salat gangsal hiku langkung lebur sakeng dosa kang ngalepe
Sebenarnya shalat lima waktu itu lebih mulia dari dosa yang ….
sumber terjemahan :
M. Chawari dalam srkipsi berjudul “PASANG SURUT MASA PERKEMBANGAN PEMBANGUNAN MASJID BESAR KAUMAN YOGYAKARTA” Studi Berdasarkan Sumber Prasasti Tahun 1989