Костел Всех Святых — один из ценных образцов безбашенных барочных храмов, принадлежащий римско-католической концессии. Входит в ансамбль новициата (места для послушников) и кармелитского монастыря в старом городе.

Строился костел вместе с монастырем в течении 11 лет с 1620 по 1631 год возле Рудницких ворот. Во время военных действий с Москвой храм горел и при реконструкции в 1655 году был существенно перестроен. Позднее, в 1743 году около северо-восточного угла, на месте башенки, была построена сложной формы колокольня в тиле позднего барокко. В 1812 году храму был нанесен немалый ущерб наполеоновскими солдатами, сжегшими исповедальни и скамьи. Французы устроил в храме госпиталь. Отремонтирован и обновлен костел был в 1823 году.

Российские власти упразднили монастырь, и с 1885 года в помещениях монастыря устроили милые квартиры, а с 1948 закрыли и костел, устроив в нем склад бакалейных товаров.

С 1967 по 1975 годы в храме проводились реставрационные работы под руководством архитектора Алдоны Швабаускене. После реставрации храм действовал как Музей Литовского народного искусства. Реституция храма была проведена сразу после смены государственного строя, в 1990 году храм был возвращен верующим и действует по сей день.

План здания костела имеет форму латинского креста, по форме храм – трехнефный базиликального типа. Своеобразие пространства внутри храма в том, что боковые нефы образованы боковыми часовнями костела. Боковые нефы в 3 раза уже и 2 раза ниже центрального, отделены от него двумя парами пилонов с каждой стороны. Своды нефов – цилиндрические с люнетами.

Главный фасад имеет архитектуру формы раннего барокко, фасад разделен на два яруса карнизом, пилястры выделяют его вертикальную ось. Венчает фасад фронтон треугольной формы, с высящимися по бокам обелисками. Портал в стиле ренессанса подчеркивает центральную ось здания. В нишах ранее были установлены статуи родоначальников кармелитского монашества – Святого Илии, и святого Елисея, выполненные из дерева.