Архиепископ Евсевий (Евстафий Сергеевич Гроздов) родился 17 марта 1866 года в селе Шарковщина Дисненского уезда Виленской губернии (совр. Витебская область Белоруссии) в семье селького диакона.

Окончил Виленское духовное училище, Виленскую духовную семинарию и в 1890 году Санкт-Петербургскую духовную академию. Защитил кандидатскую диссертацию по теме «Пьер Бииле и его богословские сочинения.

6 августа 1890 года рукоположён во священника архиепископом Литовским и Виленским Алексием (Лавровым-Платоновым) к Виленскому кафедральному собору. Одновременно назначен законоучителем образцовой школы при Виленской семинарии.

В 1895–1899 годах сверхштатный член Литовской духовной консистории, редактор журнала «Виленские епархиальные ведомости».

В 1895 году овдовел, оставшись с двумя детьми.

12 ноября 1899 года назначен инспектором Виленской духовной семинарии.

6 апреля 1902 года архиепископом Виленским и Литовским Ювеналием (Половцевым) пострижен в монашество с наречением имени Евсевий.

В 1903 году возведён в сан архимандрита и назначен ректором Ярославской духовной семинарии.

28 мая 1906 года хиротописан во епископа Угличского, викария Ярославской епархии, в Ярославском Спасском монастыре.

В 1908 году награждён орденом святого Владимира III степени.

27 февраля 1909 года назначен епископом Рыбинским, викарием Ярославской епархии.

18 марта 1910 года назначен епископом Тобольским и Сибирским. Участвовал в прославлении митрополита Тобольского Иоанна. Председатель Тобольского отдела Императорского православного палестинского общества.

С 17 апреля 1912 года — епископ Псковский и Порховский.

С 18 июня по 19 октября 1914 года присутствовал в Святейшем Правительствующем Синоде.

В 1917–1918 годах — член Поместного собора Русской Православной Церкви.

25 апреля 1918 года возведён в сан архиепископа, удостоен права ношения креста на клобуке.

В августе 1919 года покинул Псков вместе с отступавшими войсками Северо-западной армии, 12 сентября 1919 года прибыл в Эстонию. Вместе с ним прибыло духовенство псковского Троицкого собора и других церквей. Проживал в Нарве, на подворье Иверского Николаевского девичьего монастыря. Временно управлял епархией северо-западных областей России и служил епископом Северо-Западной армии генерала Николая Юденича. Рукополагал полковых священников для нужд войска.

После окончательного поражения и интернирования армии Юденича в Эстонии в декабре 1919 года ушёл на покой, пребывал на Иверском подворье — с 1923 года — Нарвская Иверская Богородицкая женская трудовая община.

5 декабря 1920 года совместно с архиепископом Финляндским и Выборгским Серафимом (Лукьяновым) участвовал в хиротонии протоиерея Александра Паулуса, избранного Собором автономной Эстонской Православной Церкви архиепископом Таллинским и всея Эстонии.

После перехода в 1923 году автономной Эстонской Православной Церкви в юрисдикцию Константинопольского Патриархата, как митрополичьего округа, представители от 30 русских православных приходов Эстонии высказались за образование самостоятельной Нарвской епархии и 10 сентября 1924 года единогласно избрали архиепископа Евсевия на архиерейскую Нарвскую кафедру.

1 декабря 1925 года Собор Православной Церкви в Эстонии утвердил избрание архиепископа Евсевия Нарвским и Изборским с условием принятия эстонского гражданства и согласия Московского Патриархата на его переход в Эстонскую Православную Митрополию — с 1926 года Эстонская Апостольская Православная Церковь. В состав возглавляемой автономной Нарвской епархии вошли русские приходы Нарвы, Таллина, Тарту, Пярну, а также отошедшего Эстонии Печерского уезда.

Состоял членом Синода Эстонской Апостольской Православной Церкви. Проявил себя мудрым и справедливым архипастырем, авторитет которого был признан как среди духовенства и прихожан, так и среди государственных деятелей Эстонии. Постоянно заботился о нуждах русских жителей Эстонии, особое внимание уделял русским школам, преподавал Закон Божий в эмигрантской гимназии в Нарве.

Скончался 12 августа 1929 года на даче в Нарва-Йыэсуу. Отпевание состоялось 14 августа в Преображенском соборе города Нарвы. Похоронен в зимнем Никольском храме Нарвского Преображенского собора. В 1945 году останки были перенесены из разрушенной Нарвы на Ивангородское кладбище, а в 2006 году — в Эстонию, на кладбище Пюхтицкого Успенского женского монастыря.