Церковь Михаила Архангела была построена в 1658-1682 годах. По преданию, первый храм на этом месте поставил ярославский князь Константин в 1216 году, и посвятил его покровителю воинов Архангелу Михаилу. Спустя 79 лет ярославская княгиня Анна Ногаевна, из татарского княжеского рода, жена князя Федора Ростиславича, построила на этом месте новую деревянную церковь и передала туда ценные дары, которые сохранялись в храме до 1918 года. Княгиня Анна поставила храм не просто так, а в память о своем деде, императоре Михаиле VIII Палеологе.

Строительство нового каменного храма на средства прихожан, посадских людей, длилось долго, и поэтому в его архитектуре отразились черты двух эпох ярославского зодчества. Основа храма, его общая композиция относится к ярославской архитектуре первой половины XVII века: крупный четверик на высоком подклете (подклет использовался для хранения товаров) опоясан галереями, в северо-западном углу которых поставлена шатровая колокольня. Но пока длилось строительство, вкусы в храмовой архитектуре Ярославля переменились: от зодчих стали требовать более выразительного силуэта, более заметного издалека. Кроме того, исчезло красивое, но непрактичное позакомарное покрытие, поэтому верхняя часть храма уже относится к направлению второй половины XVII века. Это пять плотно стоящих высоких глав на мощных световых барабанах, поставленных на четырехскатную кровлю, под которой проведен ряд ложных закомар. Фасады храма получили большие окна с красивыми наличниками, а высокие крыльца украшены изразцами.
Храм со временем был перестроен, но не сильно.

В советское время храм был закрыт в 1924 году и передан под склад. Находился в ведении Ярославского музея-заповедника, реставрировался. С 1992 года снова передан Церкви, заново отремонтирован и открыт для служб.