سمي بذلك الإسم نسبة إلى الإمام أحمد الرفاعي الذي ولد بالحجاز ومن ثم انتقل إلى العراق واستقر بمصر.
هو واحد من أعرق مساجد مصر، شيد عام 1329هـ، 1911م، ويقع في مواجهة مسجد السلطان حسن بمنطقة القلعة بمصر القديمة، ومن الجهة البحرية يقع مدخل الدرب الأحمر، الطريق ينحدر من أعلى إلى أسفل باتجاه شارع محمد على. إلى اليمين يطل بيت حسن فتحى وهو منزل أثرى قديم شيد في العصر العثمانى. المسجد شيد على شكل مستطيل، على مساحة 6500 متر مربع منها 1767 متر مربع لخدمة الصلاة، ويذهل كل من يزور المسجد التفاصيل الدقيقة في الزخارف على الحوائط الخارجية والعمدان العملاقة عند البوابة الخارجية.
وقد بني على الطراز المملوكي الذي كان سائدا في القرنين الـ19 والـ20، وقد كان يشبة المباني في أوروبا في ذلك الوقت. ويحتوي مسجد الرفاعي على العديد من مقابر أفراد الأسر الحاكمة في مصر، لذا أصرت خوشيار هانم على بناءه، وقد تم استيراد مواد البناء المستخدمة من أوروبا، وقد كان بنائه مستمرًا بشكل جيد حتي وفاة المهندس حسين فهمي وبعده خوشيار هانم والتي أوصت بأن يتم دفنها فيه وبعدها توفي ابنها الخديوي إسماعيل وتم دفنه بجانبها وكل هذا أدى إلى توقف عملية البناء 25 سنة.
وخلال حكم حسين حلمي الثاني أمر ماكس هرتز باشا ومساعده الإيطالي كارلو فيرجيليو سيلفايني بإكمال بنائه، واللذين قاما بإكماله بدون خرائط المهندس الأصلي. وتم الانتهاء من بنائه عام 1911م وفتح لصلاة الجمعة في 1912م.
