Остров Мариам с древнейших времен был святым местом. Существует городская легенда о купце, который выстроил себе дом в красивейшем месте – на острове, при слиянии двух рек – Мегреги и Олонки. Во сне ему явилась Богородица и попросила уйти с этого места – здесь должен стоять храм. Купец решил поторговаться и сказал, что уйдет в том случае, если проснувшись, увидит на деревьях белок. Утром обещание пришлось выполнять: в округе не оказалось дерева, на котором бы не сидели белки. Ни имени купца, ни времени его ухода с острова история не сохранила. Но достоверно известно, что еще в XVI веке здесь стояла деревянная церковь Николая Чудотворца, позже ее перенесут на левый берег реки Олонки. В 1646 году будет возведена церковь «Пречистые Богородицы Одигитрие». Вместо нее в 1752 году была сооружена каменная церковь в честь Смоленской иконы Божьей Матери. В 1819 году Олонец посетил Александр I. Когда он молился в храме, то обратил внимание на ветхость церкви, поручил выделить 20 тысяч рублей на ремонт старой или постройки новой церкви. Распоряжение императора начало выполняться через пять лет, а в 1830 году здание было освящено. «Это был настоящий императорский храм. Он был построен не для Олонца, а для всей губернии. Символ государства, его величия, духовная опора края, символ того, что народ крепок в духе и может стоять за Родину до конца. Отсюда, с этого места, все пошло. Современная Карелия, какой мы ее знаем сегодня начиналась здесь» — утверждает отец Михаил.
В годы Советской власти храм был разорен и частично разрушен, чудотворная икона Смоленской Божьей Матери, украшенная драгоценными камнями и бриллиантами, безвозвратно пропала. Во время Великой Отечественной войны Олонец был оккупирован финскими войсками. В полуразрушенном храме была устроена лютеранская церковь. После войны Смоленский собор был превращен в кинотеатр, а с 1974 года здесь размещался краеведческий музей. В 1992 году собор был возвращен церкви, а реставрационно-восстановительные работы ведутся до сих пор.