Смоленский собор появился на этом месте при обстоятельствах примечательных. В начале ХVIII века здесь располагались восточные ворота Белгородской крепости, на которые, по обыкновению того времени снабжать проездные ворота святыми изображениями, была помещена Смоленская икона Божией Матери.

В одну из октябрьских ночей 1703 года часовой Мефодий Иванов увидел исходящий от этого образа огонь, зажегший явившуюся перед ним свечу. В память о чуде тогда же построили часовню — спустя два года её сменила деревянная Смоленская церковь, а в 1727 году здесь заложили каменный двухэтажный храм. Полностью его освятили в 1763 году. Это была барочная постройка с традиционным для барокко основным объёмом в виде "восьмерика на четверике". Храм имел массивный, вертикально вытянутый двухэтажный основной объём, имеющий удлинённую форму с юга на север, к которому примыкала одночастная овальная двухэтажная апсида. С запада к храму была пристроена небольшая двухэтажная трапезная и четырёхъярусная колокольня. Такая объёмная композиция церкви характерна для храмовой архитектуры Слободской Украины конца ХVII века, хотя в белгородский памятник привнесены некоторые оригинальные черты.


В ХIХ столетии храм перестраивался. Чертежи середины ХIХ века и фотографии нач. ХХ века показывают позднейший архитектурный вариант церкви, под которым скрылись первоначальные формы и декор. Первый раз храм подвергся значительной перестройки в 1859 году. Поводом послужали обветшавшие лестницы, которые вели в основное здание церкви, а там и решили "поновить и сам храм". Лестницы были тогда разобраны вместе с галереями. Вместо этого с запада церковь дополнили пристройкой для помещения в ней новой лестницы. Одновременно радикально изменился и весь фасад здания. Фасадам новой пристройки и колокольни был придан вид более сдержанный, но соответствующий уже новому стилю. Под слоем штукатурки скрылись следы первоначального декора — срубленных наличников, карнизов, обрамления порталов, характерные для ХVII века. В 1862 году отмечена следующая, самая существенная перестройка Смоленской церкви: "... по Высочайше утверждённому проекту..." С западной стороны стараниями церковного старосты Г.И. Муромцева была возведена очередная пристройка с перекрытием над лестницей, ведущей на второй этаж. Световой восьмерик опирающийся на сомкнутый свод с подпружными арками получил форму ротонды. В сводах были вставлены так называемые голосники — резонаторы звука.

В 20-е годы ХХ столетия храм был разграблен. Хотя в нём и располагались склады — то писчебумажный, то соляной с бакалейным, то бутылочно-тарный — молитвенная жизнь в нём всё же теплилась. Но 26 июня 1936 года было утверждено Курской культкомиссией решение Белгородского городского совета от 28 марта 1936 года о закрытии многих церквей города, в том числе и Смоленского храма. Церковь, являвшаяся несомненным украшением дореволюционного Белгорода, в советскую же эпоху дважды оказывалась на грани гибели. Ещё в 1943 году в результате артобстрела она лишилась колокольни и в послевоенные годы представляла собой почти руины. Дважды его пытались взорвать — в 1958 и 1974 годах; однако храм устоял. Так, в 1958 году церковь впервый раз решили взорвать, но он выстоял, хоть и содрогнулся от взрыва. В 1974 году её повторно решили взорвать. Но спасла её тогда 3-я школа, ибо после мощнейшего взрыва храм пошатнулся, с него упало несколько кирпичей, а вот школа пришла тогда в "аварийное состояние". Дальше взрывать было нельзя! Здание огородили забором, за которым образовалась стихийная свалка.


В 1980-х годах здание начали реставрировать — с модным в те времена предположением устроить в нём органный зал. С территории было вывезено мусора 763 машины КРАЗ. Последние сорок машин вывезли со двора храма в июне 1996 года, за месяц до освящения. 11 июня храм был освящён Владыкой Белгородским и Старооскольским Иоанном. А до этого на вновь отстроенной колокольне в Великий Четверг 1995 года впервые зазвонили колокола. В 1997 году были обновлены купола и кресты Смоленской церкви.