Основан в 1389 году ростовским епископом св. Иаковом († 27 ноября 1392; память — 27 ноября). Изгнанный из города своей паствой (за помилование ожидавшей казни преступницы), Иаков поселился к югу от Ростова, неподалёку от церкви Архангела Михаила (основанной ещё в XI веке св. Леонтием Ростовским; последнее по времени здание этого храма было снесено в 1930-е годы), рядом с источником (сейчас над ним — часовня 1996 года), где своими руками срубил небольшой деревянный храм и освятил его в честь Зачатия Пресвятой Богородицы. Вскоре возле церкви формируется небольшая община единомышленников изгнанного епископа; так сформировалась новая обитель.

После смерти епископа Иакова началось его местное почитание как святого; его захоронение оберегалось как святыня. Общецерковное прославление совершено Макарьевским собором 1549 года. Его мощи покоятся под спудом в церкви Зачатия св. Анны.

Монастырь именовался Зачатьевским (по имени главного храма, посвящённого Зачатию правдной Анны) или Иаковлевским — по имени основателя обители. Со времени основания обители (XIV век) до второй половины XVII века все постройки Зачатьевского монастыря были исключительно деревянными (ни одна из них не сохранилась до наших дней).

Первым каменным зданием монастыря стал Троицкий, позднее Зачатьевский собор (1686), построенный на месте одноимённой деревянной церкви. Собор пятиглавый, с тремя алтарными апсидами, без богатого декоративного убранства в то время при нём была шатровая колокольня о шести колоколах. Освящал собор ростовский митрополит Иона Сысоевич. В 1689 году собор был расписан ярославскими мастерами. Над гробницей св. Иакова была возведена каменная сень.