Первоначальный православный кладбищенский храм был построен вскоре после того как в 1784 году под очередное городское кладбище была отведена земля за городской чертой. Строилась эта деревянная церковь по образцовому проекту, прилагавшемуся к первому Генеральному плану Рязани 1780 года.

Новый каменный храм был построен в 1807 году на средства мецената надворного советника купца Петра Алексеевича Мальшина. В храме были устроены три придела: главный – в честь иконы Божьей Матери «Всех скорбящих Радость», правый – во имя праведного Алексия, человека Божия, и левый – во имя преподобного Онуфрия Великого. Рядом с храмом на средства того же Мальшина был построен дом для причта. При храме благотворитель хотел построить и богадельню, но по просьбе городских властей она была перенесена на другое место (на угол улиц Курганской и Мальшинской, ныне улиц Маяковского и Свободы).

Предназначение храма отразилось в его архитектурном решении и на характере внутреннего оформления. Небольшие размеры храма, камерность и уютность интерьера, призваны были успокаивать и утешать молящегося — в некоторых старых источниках храм даже носит название "Всех скорбящих Утешение". Иконостас храма был написан в 1878 году. Стены были расписаны известным рязанским иконописцем Николаем Васильевичем Шумовым.

Скорбященская церковь всегда оставалась действующей. В период атеистических гонений этот храм некоторое время был единственным действующим храмом на территории Рязани. До сих пор на его колокольне сохранились колокола, отлитые в начале 1800-х годов, а внешний вид и внутреннее убранство с тех пор не изменились.

На начало 2000-х годов при храме работали воскресная школа для детей и взрослых; приходская паломническая служба и библиотека.