Владыка Иеремия (в миру Иродион Иванович Соловьев) родился 10 апреля 1799 года в семье пономаря в селе Георгиевском Орловской губернии. В 1810 году поступил в Севское духовное училище, а по его окончании – в Орловскую духовную семинарию, которую окончил 1819 году. Продолжил владыка свое образование в Санкт-Петербургской духовной академии, где 25 ноября 1824 года был пострижен в монашество с именем Иеремия, а 25 декабря того же года рукоположен в сан иеродиакона.

В 1830 году, уже будучи в сане архимандрита, Иеремия назначен инспектором Киевской духовной академии. В 1834 году он становится ректором Киевской духовной семинарии и настоятелем Выдубетского монастыря. С 1839 по 1841 год владыка трудился на посту ректора Киевской духовной академии.

Преосвященный Иеремия (Соловьев), епископ Кавказский и Черноморский

В 1841 году Иеремия был хиротонисан во епископа Чигиринского, викария Киевской митрополии. 

1 января 1843 года преосвященный Иеремия возглавил вновь созданную Кавказскую и Черноморскую епархию, которой вдохновенно управлял до 1849 года. За этот непродолжительный период владыка построил и освятил более десятка церквей на территории епархии, среди которых Казанский кафедральный собор, основал женский Иоанно-Мариинский монастырь, учредил Кавказскую духовную семинарию, наладил работу консистории.

Он был требовательным, строгим духовным начальником и твердым администратором. Его любимыми выражениями были «неукоснительно» и «не медля нимало». В делах благотворительности владыка был для окружающих ярким примером. Так, для скорейшего обустройства женского монастыря он несколько раз отдавал свое жалование, ставя этим свой скромный архиерейский дом в еще более затруднительное положение.

Кавказская духовная семинария, начало XX в.

Под давлением объективных обстоятельств в 1849 году владыка Иеремия покидает Кавказскую кафедру, при этом продолжает оказывать всяческую поддержку своим духовным чадам.

Орден св. Анны 1-й степени, которым был награжден епископ Иеремия

17 июня 1857 года владыка был уволен на покой с Нижегородской кафедры, которую окормлял в течение 7 лет. Иеремия поселился в Нижегородском Печерском монастыре, где в 1860 году тайно принимает схиму с именем Иоанн. Здесь он пишет «Двадцать четыре письма на Кавказ», проникнутые тоской по прежней епархии.

Епископ Иеремия скончался 6 декабря 1884 года. Погребен в Нижегородском Благовещенском монастыре.