Первые шаги к строительству мечети на территории Украины были предприняты еще в 1897 г. Мусульмане того времени смогли открыть лишь молитвенный дом в Киеве на ул. Мирной, д. 5 — в доме Калиновича на Подоле.
В начале XX века молитвенный дом был перенесен на ул. Мирную, д. 4, что зафиксировано в адресной книге «Весь Киев» за 1909 год. Молитвенный дом в то время был временным вариантом, т. к. была идея строительства мечети рассчитанной на 800 одновременно молящихся верующих.
Городская газета «Киевская мысль» за 30 октября 1913 г. сообщала о закладке первого камня в фундамент мечети на ул. Гоголевской, д. 29. Но запланированное строительство мечети не состоялось из-за первой мировой войны, революции и дальнейших событий, связанных с ней.
Следующая попытка построить мечеть была предпринята только в 1991 г.
Большим событием для мусульман Украины стало возведение в Киеве первой мечети. Заботу об этом благом деле взяло на себя ДУМУ (Духовное Управление мусульман Украины). Распоряжение о выделении Духовному Управлению мусульман Украины земельных участков под строительство и обслуживание мемориально-молитвенного здания было принято Киевской Госадминистрацией 5 февраля 1996 г.
Строительство мечети происходило поэтапно, на деньги, пожертвованные мусульманами города. Уже после завершения первой части строительства мечети — с 1998 г. в ней по пятницам, праздничным дням и событиям проводились молитвы.
В 2000 г. на куполе новой мечети, которая получила название Ар-Рахма (Милосердие), был установлен полумесяц, и с того дня храм открыл свои двери для прихожан.
В мечети регулярно проводятся Пятничные Намазы (Джуму'а-Намазы) и праздничные Богослужения в дни Ураза-Байрама и Курбан-Байрама.
В конце 2004 г. было решение Киевской городской администрации на доотвод земли и разрешение на строительство целого Исламского комплекса, куда входит и мечеть Ар-Рахма, и корпус ДУМУ, и Медресе, и минарет.
