Şehrin merkezinde yer alır. Kitâbesine göre Büyük Selçuklu Sultanı Melikşah bin Alparslan’ın emriyle 484’te (1091) yaptırılmıştır. Yapının yerinde Müslüman Araplar tarafından kiliseden çevrilen bir cami vardı.
1115-16 yılındaki deprem ve yangın yapıya büyük zarar vermiş, bunun üzerine 1117-1124 arasında yeniden inşa edilmiştir. Anadolu’nun en eski camilerindendir. 5’inci Harem-i Şerif (Mukaddes Mabed) olarak bilinir. Plan itibariyle Şam Emeviye Cami’nin Anadolu’ya yansıması olarak yorumlanır.
Camiye Diyarbakır’da hüküm sürmüş bütün devletler büyük önem vermiş ve onarmışlardır. Büyük Selçuklu Hükümdarı Melikşah, İnal ve Nisanoğulları, Anadolu Selçuklu Hükümdarı Gıyaseddin Keyhüsrev, Artuklular, Akkoyunlu Hükümdarı Uzun Hasan ve Osmanlı Padişahlarından bir çoğuna ait kitabe ve fermanlar Camiinin muhtelif yerlerinde görülmektedir.
