La mezquita fue construida después de la conquista de la ciudad, en homenaje a la memoria de Halit bin Zeyt, conocido como Eyüp el Ensari, uno de los compañeros del profeta, muerto junto a las murallas de la ciudad durante la primera expedición árabe a Constantinopla, dirigida por Yezit, hijo del califa Amevi Muaviye, que tuvo lugar entre los años 674 y 678. No queda ninguna huella de la primera mezquita de Eyüp, construida por el sultán Mehmet el conquistador, en 1458.