До начала XIX в. приходское кладбище находилось при церкви, а позже было перенесено в другое место. На новом Олтушском кладбище в 1839 г. верующие поставили небольшую деревянную часовню. Второе по счёту приходское кладбище закрыли в 1886 г. Жители Олтуша просили учредить новое рядом со старым, однако этому сильно противилась созданная властями комиссия и особенно помещики, которые создавали различные юридические препятствия. По этой причине очередное, третье по счёту кладбище, было основано на возвышенности в 2 километрах от Олтуша. На него перенесли деревянную часовню 1839 г.

В 1869 году помещица имения Олтуш Мария Осиповна Маймескул начала строительство приписной каменной кладбищенской церкви святителя Алексия, митрополита Московского, всея России Чудотворца, небесного покровителя её мужа. Строили храм пять лет. Он был торжественно освящён 2 апреля 1874 года Влодавским благочинным священником Иоанном Григоровичем в сослужении собора священнослужителей. На строительство храма-усыпальницы было затрачено 5146 рублей. Внутри храм был устроен роскошно и со вкусом. В нём был сделан двухъярусный иконостас, украшенный тонкой и изящной резьбой по дереву и позолотой. Все иконы были написаны в православном духе. Под храмом находилась усыпальница для членов семьи Маймескулов. В ней покоилось тело мужа помещицы – Алексея Каллистратовича, его сына председателя Олтушского церковно-приходского опекунства Анатолия Алексеевича (после его смерти председателем попечительства выбрали его родного брата Евгения) и тестя – статского советника В. Белозерского, позже – сама М. Маймескул, её умершие дети и сестра Н. Токоревская. Как заметил автор статьи о церкви святителя Алексия в д. Олтуш в «Литовских епархиальных ведомостях», в то время для Литовской епархии такой случай благочестивого и щедрого усердия православной помещицы ко храму Божию был редким и замечательным, достойным полного подражания. Церквушка строилась как семейная усыпальница, в которой нашли упокоение Маймескулы.

Церковь имеет форму вытянутого прямоугольника, накрытого двухскатной крышей, увенчанной небольшим куполом в форме луковицы. В советское время усыпальница была осквернена. Когда встал вопрос её реставрации, было принято решение усыпальницу под храмом засыпать песком. Реставрационные работы закончились в 2003 году.