事实上，香妃墓是一座典型的伊斯兰古建筑群，也是伊斯兰教圣裔的陵墓。墓内葬有伊斯兰著名传教士玉素甫霍加家族五代72人。玉素甫霍加是第一代。他的长子阿帕克霍加继承了他事业，名望超过了他，并一度夺得了叶尔羌王朝的政权。阿帕克霍加死于1693年，亦葬于此，所以后来人们便把这座陵墓称为“阿帕克霍加墓”。