В 1772 году, после выхода указа Екатерины II о запрете захоронений в черте города при церквях, в связи с эпидемией чумы, власти Тулы выделили на южной окраине города место под новое кладбище. Умерших же от чумы было немного. По отчётам Тульской канцелярии умерло 12 человек мужского пола, при этом женщины не учитывались. Кладбище окопали рвом и первоначально на нём хоронили только умерших от чумы. Немного позже там поставили деревянную церковь. Для экономии места людей на кладбище хоронили ярусами. В результате захоронения оказывались неглубокими и на кладбище стоял ужасный запах. Так продолжалось до 1839 года, пока губернатор Тулы А. Е. Аверкиев не занялся его благоустройством. Он обратился к епископу Тульскому и Белевскому Дамаскину с просьбой убедить прихожан найти средства на ограду. Позже на пожертвованную купеческим обществом сумму сделали высокий вал и глубокую канаву.


Старинные надгробия
Со временем городская территория, прилегающая к кладбищу, оказалась плотно застроенной жилыми домами. Кладбище в свою очередь продолжало пополняться всё новыми и новыми могилами. В результате санитарное состояние вновь ухудшилось, и жители близлежащих домов обратились к властям с просьбой о благоустройстве кладбища. В 1847 году губернатор Н. Н. Муравьёв распорядился поправить повреждённые вал и въездные ворота, построить караульный дом и нанять сторожей, которые бы следили за тем, чтобы на месте старых могил не вырывали новые, а плотность захоронений не была слишком большая. Все эти расходы губернатор планировал произвести за счёт города, но дума ответила отказом. Так как плата за отвод места и выкапывание могил не являлась источником дохода кладбища, то пришлось собирать пожертвования, чтобы как-то благоустроить кладбище. Деньги на строительство каменной ограды стали собирать в 1881 году, а её закладка произошла лишь 31 июля 1900 году. Спустя год кладбище с южной стороны города было ограждено каменной стеной.
Осенью 1864 года прихожане католической общины Тулы обратились с просьбой к православной епархии о выделении места на кладбище для захоронения своих прихожан. Разрешение было получено, и вскоре на Всехсвятском кладбище появился лютерано-католический участок, отделённый от остальной части кладбища рвом. Позже, при строительстве каменной ограды, был сооружён и отдельный вход — ворота с башенками в готическом стиле (сохранились до нынешнего времени, но закрыты пристроенными хоз. постройками).
В 1889 году на южной стороне кладбища отвели участок для захоронения военных, которые, как посчитали власти, должны покоится в определённом месте, а не вразброс по всему кладбищу. Позже, в 1914 году, этот участок увеличился за счёт захоронения военных, павших в Первую мировую.

В 1910 году началось строительство каменной стены с восточной стороны кладбища, а со временем оно было огорожено полностью по периметру.
Захоронения на кладбище продолжались вплоть до 1970-х годов, когда оно получило статус мемориального. В настоящее время на Всехсвятском кладбище разрешено захоранивать лишь урны с прахом. Но как исключение по разрешению местных властей на кладбище производятся единичные захоронения: в марте 2000 года возле алтарной части Кафедрального собора был похоронен его настоятель протоиерей Анатолий Родионов; также на Всехсвятском кладбище была захоронена алтарница того же собора схимонахиня Нила.
Всехсвятское кладбище имеет большую культурную и художественную ценность. Это подтверждается наличием саркофагов и надгробий различной формы, выполненных из белого камня, гранита, мрамора и металла в стилях начиная от барокко и заканчивая модерном, а также наличием кованных крестов и оград