Дом построен в середине XIX века. Владельцы дома предоставляли помещение для проведения семейных торжеств представителям среднего класса городского населения.

В нем, 1 декабря (по старому стилю) 1905 года, на втором этаже, большевики открыли свой клуб, где разместился комитет Коломенской организации РСДРП, и проходили митинги и собрания; находилась библиотека с марксисткой и социал-демократической литературой и читальня. Тут же принимали в партию. Здесь был принят в РСДРП молодой рабочий, впоследствии видный большевик, известный писатель – И.А. Козлов. В отдельной небольшой комнатке действовала нелегальная типография, в которой на гектографе печатались листовки, воззвания, прокламации и революционные стихотворения, распространявшиеся среди рабочих. Клуб охранялся членами боевой дружины. Клуб большевиков был уничтожен через десять дней черносотенцами.

Это произошло после разгрома политической демонстрации недалеко от Петропавловского кладбища во время которого около 30 человек было ранено, а гимназист И. Марков был убит и смертельно ранена работница Е. Зубачева.
В советское время в доме Шведовых располагалось общежитие Коломенского педагогического института. В нём, в частности, жил Венедикт Ерофеев, автор книги «Москва – Петушки». Впоследствии в пятом доме располагались ряд организаций: городской отдел ОСВОД, райком профсоюза работников местной промышленности и коммунально-бытовых предприятий, инспекция по маломерным судам и ряд других.