İsmini, önünde bulunan Rahmet mezarlığından alan kapının Emevîler döneminde yapıldığı tahmin edilmektedir. Yahudi ve Hıristiyan inancına göre, Kıyamet Günü’nde sırat köprüsü Zeytin Dağı ile Kudüs eski şehir arasına kurulacak, onlar da Mesih’le birlikte Rahmet Kapısı’ndan şehre gireceklerdir. Rahmet Kapısı’nın dış kısmı Kudüs’ün fethedilmesinden sonra şehri gelecek herhangi bir baskından korumak amacıyla Salahaddin Eyyubi tarafından kapatılmıştır. Bölge 1967 yılından beri İsrail işgali altında tutulmaktadır ve 2003 yılında İsrail rejimi Müslümanların ibadet ettiği iç kısma erişimi kapatmıştır.