Караимы — малочисленная тюркская народность, исповедующая свою собственную религию — караимизм (близок к иудаизму) — были вывезены из Крыма литовским князем Витовтом в 14 веке. В Тракай караимы переселились с семьями, им было предоставлено жильё в северной части города, у подступов к замкам. Караимы-воины должны были охранять мосты и замок. Гражданские караимы занимались мелким ремеслом, торговлей, служили переводчиками, обрабатывали землю. Позднее караимы селились и в других частях Литвы, однако Тракай, который остался административным и духовным центром караимской общины Литвы.
В настоящее время в Тракае осталось всего около 60 караимских семей, однако они сохранили свой язык, свою письменность, действует кенасса (молитвенный дом), а также караимская этнографическая выставка и ресторан караимской кухни.