Masjid Gedhe Kauman terletak di sebelah barat Alun – alun utara Yogyakarta, berdekatan dengan Kraton Yogyakarta dan kawasan nol kilometer Malioboro. Masjid ini terletak di pusat kota Jogja yang dapat dijangkau dengan berbagai sarana transportasi antara lain sepeda, becak, andhong, motor, mobil, dan bus.