Salah satu keunikan dari Masjid Gedhe Kauman adalah banyaknya hiasan berbentuk Labu yang terletak di atas beteng cepuri yang mengelilingi kompleks Masjid Gedhe .
Labu dalam bahasa jawa disebut dengan “Waluh” .
Hiasan Waluh tersebut sebenarnya adalah merupakan seni patung kaligrafi yang berbentuk tulisan Allah.
Pada awalnya para ulama bermaksud untuk mengajarkan kepada masyarakat untuk menyebut kata Wallah , namun karena kesulitan untuk mengucapkan kata Wallah maka berubah menjadi kata waluh dan untuk mempermudah mengingat akan kata Wallah maka kemudian dibuatlah ornamen waluh tersebut.
Waluh sebagai tanda bahwa jika ingin benghadapan atau mengenal Allah maka masuklah ke dalam masjid sekaligus mengajarkan bahwa Masjid adalah rumah Allah .
Waluh tersebut terletak pada tembok cepuri yang berlobang- lobang . Tembok cepuri yang berlubang-lubang ini sebagai bentuk peringatan kepada manusia bahwa tidak ada manusia yang sempurna dalam memegang agamanya juga tidak adanya manusia yang sempurna tanpa cacat.
Dalam diri manusia, sebaik apapun pasti terdapat celah-celah kekurangan yang disimbolkan dengan lubang-lubang pada dinding cepuri Masjid Gedhe.
Sehingga lubang pada beteng cepuri ini dimaksudkan untuk memperi pelajaran pada masyarakat waktu itu bahwa setiap manusia mempunyai kesalahan dan jika ingin mendapatkan ampunan Allah maka masuklah ke masjid dan minta ampun kepada Allah, sebagaimana bangunan gapura yang ada di depan Masjid sebagai simbolisasi ampunan Allah.
Hal ini sesuai dengan Sabda dari Nabi Muhammad bahwa manusia tidak luput dari kesalahan.
كُلُّ بَنِي آدَمَ خَطَّاءٌ وَ خَيْرُ الْخَطَّائِيْنَ التَّوَّابُونَ
“Setiap anak Adam (manusia) pasti sering berbuat kesalahan “Dan sebaik-baik orang yang berbuat kesalahan adalah yang mau bertaubat.” (H.R. Ibnu Majah no. 4251 dan lainnya)