В конце XIX - начале XX века Ошмяны были динамичным штетлом на границе с Вильной. Большая синагога была возведена именно в этот период: сбор средств на строительство зафиксирован в 1857 году, а торжественное открытие состоялось в 1902-м. Сдержанный внешний облик скрывает высокий внутренний купол - архитектурный прием, позволявший обойти ограничения на высоту синагог. Здание входило в состав большого шулгойфа - традиционного синагогального двора, включавшего молитвенные и учебные помещения, - и служило духовным сердцем общины.
Закрытая в 1940 году и десятилетиями использовавшаяся не по назначению, в 1980-е годы синагога оказалась на грани уничтожения, но всё же уцелела. Сегодня, на фоне стремительного исчезновения еврейского наследия в регионе, она остаётся одним из немногих уцелевших памятников, но находится в критическом состоянии и требует срочных мер по сохранению.