Masjid Gedhe Kauman merupakan masjid tertua yang dibangun oleh Sri Sultan Hamengku Buwono I bersama Kyai Faqih Ibrahim Diponingrat (Pnghulu Kraton 1) dan Kyai Wiryokusumo sebagai arsitekturnya. Masjid ini dibangun pada hari Ahad Wage, 29 Mei 1773 M atau 6 Robi’ul Akhir 1187 H, dibangun sebagai sarana beribadah bagi keluarga raja serta untuk kelengkapan sebuah kerajaan Islam. Atap masjid bersusun tiga dengan gaya tradisional Jawa bernama Tajuk Lambang Teplok dengan mustaka berbentuk Daun Kluwih dan Gada yang ditopang oleh tiang-tiang dan kayu jati Jawa yang usianya mencapai ratusan tahun. Dinding masjid terbuat dari susunan batu putih dan lantainya dari batu kali hitam.[1]
Menurut masyarakat Sri Sultan Hemengkubuwono 1 sebelum menjadi raja, beliau seorang muslim yang taat mengerjakan sholat, puasa wajib dan puasa Senin-Kamis. Selain itu, ia juga pemberani dalam ber-Amar Ma’ruf Nahi Mungkar membersihkan kemaksiatan, menegakan keadilan dan kebenaran, serta melawan penjajahan.
Antusias masyarakat sekitar untuk beribadah pada waktu itu merupakan alasan yang utama dibangunnya serambi masjid yang juga difungsikan sebagai “al Mahkamah al Kabiroh”,[2] pada hari Kamis Kliwon, 20 Syawal 1189 H/ 1775 M. Dibangun juga Pagongan (Pa: tempat, Gong-an: salah satu alat gamelan) yang berarti tempat gamelan, gamelan tersebut dimainkan pada setiap bulan Maulid Nabi. Pada Senin 23 Syuro tahun Dal 1767 Jw/ Muharram 1255 H 1840 M dibangun pintu Gerbang Masjid atau Regol dengan nama Gapura yang diambil dari kata Ghofuro (ampunan dari dosa).[3]
Pada tahun 1867 di Jogjakarta terjadi gempa bumi yang meruntuhkan serambi masjid. Tetapi serambi tersebut dibangun kembali oleh Sultan Habengkubuwono VI dengan luas dua kali lipat dari serambi Masjid Gedhe Kauman yang roboh. Serambi masjid yang baru ini tetap berdiri kokoh hingga saat ini. Pada tahun 1917 dibangun Gedung Pajangan (pa=tempat, jaga=berjaga keamanan), dan terletak di kanan kiri Regol masjid, memanjang keutara dan keselatan. Gedung ini digunakan untuk para prajurit keraton (tentara kraton), untuk keamanan masjid terutama pada setiap peringatan hari besar Islam.
Pada tahun 1933 atas prakarsa Sri Sultan Habegkubawono VIII, lantai serambi Masjid yang tadinya dari batu kali diganti dengan Tegal Kemangan yang indah. Sejak itu pula diadakan perggantian atap Masjid, dari sirap diganti dengan Seng Wiron yang tebal dan lebih kuat. Pada tahun 1936 atas perakarsa Sultan Hamengkubuwono VIII diadakan penggantian lantai dasar Masjid yang dulunya dari batu kali kemudian di ganti dengan marmer dari Itali. Pada zaman kemerdekaan Republik Indonesia, Masjid Gedhe Kauman mendapat perhatian dari pemerintah yaitu diadakan renovasi dan berbagai bentuk pemeliharaan secara bertahap hingga sampai kini.
Terkait dengan nama Masjid Gedhe Kauman, pada awal berdirinya masjid ini lebih dikenal dengan sebuatan Masjid Gedhe. Masjid ini terletak di sebelah barat alun-alun Keraton, berdampingan dengan Pengalon yang terletak di sisi utara Masjid Gedhe, pengalon tersebut merupakan perumahan yang disediakan oleh Sultan bagi penghulu Keraton dengan keluarganya. Bagi para Ulama Ketib (Khotib), Modin (Muadzin), Merbot, Abdi Dalem Pametakan, Abdi Dalem Kaji Selusinan, Abdi Dalem Banjar Mangah, sebagian dari mereka diberikan fasilitas perumahan disekitar kompleks Masjid Gedhe yang dinamakan Pakauman (=tempat para Kauman= Qoimuddin+ Penegak Agama) yang akhirnya dikenal dengan Kampung Kauman. Pada awalnya masjid ini merupakan tempat beribadah bagi raja, keluarganya dan abdi dalem serta masyarakat kampung Kauman di sekitar Keraton sehingga masjid ini dikenal dengan Masjid Gedhe Kauman, begitula yang dituturkan oleh ketua Takmir Masjid Bapak H. Budi Setiawan. Namun pada perkembangannya masjid ini menjadi sarana peribadatan masyarakat sekitar pada umumnya.