51-й пехотный Литовский полк был создан 22 октября 1809 года российским императором Александром I . Участвовал полк в войне 1812 года, затем в подавлении польского восстания в 1830-1831 годах, затем в многочисленных битвах и походах на Кавказе, пока в 1862 году не был переведён в Крым. Подразделения полка поколесили по полуострову. Часть полка было отправлено в Керчь, стрелковые роты сначала в Севастополь, затем в Феодосию, после в Бахчисарай. Начиная с 1875 года полк то базировался в Симферополе, то посылался по разным государственным нуждам на благо царя и отечества по городам и весям империи, а одна из рот занималась охраной Ливадийского дворца.

При Николае II для полка в Симферополе в конце XIX века были построены комфортные кирпичные казармы и полковая церковь. 30 июля 1904 года у венценосной императорской четы наконец-то родился наследник -цесаревич Алексей. И еще не закончился день его рождения, как гласит предание ровно в 24-00, в полк пришла телеграмма, в которой сообщалось, что младенец Алексей назначен шефом полка, который получил новое название: 51-й Пехотный Литовский Его Императорского Высочества Наследника Цесаревича полк.

В 1909 году к столетию полка был учрежден полковой знак. Его изображение видно на стенах здания. В связи с этой датой было решено построить здание Офицерского собрания полка, началось строительство в 1910 году, а 22 октября 1913 года Офицерское собрание было официально открыто. В офицерском собрании нашлось место для фехтовального зала, так пожелал император Николай II, и для музея полка. Николай II также расщедрился и пожертвовал дополнительные деньги на строительство, чтобы здание было не одноэтажным, как большинство Офицерских собраний тех лет, а двухэтажным. Хорошо иметь шефом полка сына императора.

Примечательно, что здание бывшего Офицерского собрания — единственное на территории бывшего СССР офицерское собрание, сохранившееся в первоначальном, не тронутом последующими поколениями строителей, виде.

После революции естественно здание было национализировано и здесь в 1921 году был открыт Центральный музей Тавриды Здесь живёт история Крыма, который съехал в 1937 году на новое место, а в здании осталась картинная галерея. При попытке эвакуации экспонатов в 1941 году большая часть коллекции картин погибла и после войны, когда в 1947 году картинная галерея была вновь открыта, то для неё собирались с бору по сосенке картины из различных музеев страны.

Среди них в Симферополе оказались 67 живописных полотен европейских художников голландской, фламандской, немецкой, венецианской школ XVII—XIX веков, вывезенных из Германии из Ахенского музея Сюрмонда-Людвига (Suermondt-Ludwig-Museum) в СССР в качестве компенсации за уничтоженные немцами произведения искусства. В Симферополе картины появились из Ялтинского краеведческого музея в плохом состоянии и долго реставрировались.

В 1966 году художественная галерея была переименована в Симферопольский художественный музей, а в июне 2012 года в бывшем здании Офицерского собрания был вновь открыт Музей 51-го пехотного Литовского Его Императорского Высочества Наследника Цесаревича полка. Через сто лет круг замкнулся.