Митрополит Иосиф (Иван Семёнович Петровых) родился 15 декабря 1872 года в городе Устюжне Новгородской губернии (совр. Вологодская область) в семье мещанина, Семёна Кирилловича Петровых, владевшего пекарней и булочной лавкой. Всего в семье было 9 детей.

Был крещён в приходской церкви Вознесения Господня на Всполье.

В 1889 году окончил Устюженское духовное училище, в 1895 году — Новгородскую духовную семинарию, в 1899 году — со степенью кандидата богословия Московскую духовную академию. Успешно выполнил задание Академии наук, записав по выработанной программе северный народный выговор. В 1899–1900 годах — профессорский стипендиат. В 1903 году защитил магистерскую диссертацию по теме: «История иудейского народа по археологии Иосифа Флавия. Опыт критического разбора и обработки».

С 9 сентября 1900 года — исполняющий должность доцента Московской духовной академии по кафедре Библейской истории.

26 августа 1901 года был пострижен в монашество, 30 сентября рукоположён во иеродиакона, а 14 октября — во иеромонаха.

С 1903 года — доцент Московской духовной академии.

С 9 декабря 1903 года — экстраординарный профессор и инспектор академии.

18 января 1904 года возведён в сан архимандрита.

В 1905 году после Кровавого воскресенья прекратил поминовение императорской фамилии за богослужением и на время был запрещён в служении, по прошению был уволен из академии и назначен в июне 1906 года настоятелем Яблочинского Свято-Онуфриевского первоклассного монастыря Холмской епархии.

С 1907 года — настоятель первоклассного Юрьева монастыря Новгородской епархии.

15 марта 1909 года хиротонисан в Александро-Невской лавре во епископа Угличского, викария Ярославской епархии.

С 27 февраля того же года был настоятелем Спасо-Яковлевского монастыря в Ростове — вплоть до окончательного закрытия обители в 1923 году.

В 1911 году посетил Афон для изучения древних церковных распевов.

В 1912 году награждён орденом святого Владимира III степени, в 1915 году —орденом святой Анны I степени.

Член Поместного Собора Российской Православной Церкви 1917–1918 годов, в заседаниях не участвовал.

С 1 декабря 1917 года до 20 января 1918 года был временно управляющим Рижской епархией.

В июле 1919 года был арестован по обвинению в срыве кампании по вскрытию мощей посредством колокольного звона и крестного хода. Был отправлен в Москву в Бутырскую тюрьму. В августе того же года освобождён. В 1920 году приговорён к условному заключению на один год.

С 1920 года — архиепископ Ростовский, викарий Ярославской епархии. Занял очень решительную позицию против изъятия церковных ценностей и 19 июня 1922 года ярославским Ревтрибуналом был приговорён к четырём годам лишения свободы, но особым предписанием ВЦИК от 5 января 1923 года был досрочно освобождён.

В 1920–1925 годы управлял Новгородской епархией во время ареста архиепископа Арсения (Стадницкого).

В 1923–1926 годы управлял Ярославской епархией во время ареста митрополита Агафангела (Преображенского).

В декабре 1925 года митрополит Петр (Полянский) в своём завещании перед арестом поставил его третьим кандидатом в заместители Патриаршего Местоблюстителя.

26 августа 1926 года указом заместителя Патриаршего Местоблюстителя митрополита Сергия (Страгородского) архиепископ Иосиф был назначен митрополитом Ленинградским и 11 сентября прибыл в Ленинград. Вечером этого дня — канун памяти святого благоверного князя Александра Невского— и утром в день праздника совершил торжественное богослужение в Троицком соборе Александро-Невской Лавры. 13 сентября выехал в Новгород за вещами, откуда был вызван в Москву в ОГПУ. Возвращаться в Ленинград ему запретили; местом пребывания был указан Ростов Великий. Временно управляющим Ленинградской епархией митрополит назначил архиепископа Кингисеппского Гавриила (Воеводина), которого арестовали через 7 месяцев, 19 апреля 1927 года.

В 1927 году митрополит Иосиф критически отнёсся к «Декларации» заместителя патриаршего местоблюстителя митрополита Сергия (Страгородского).

Осенью 1927 года отказался принять назначение от 17 сентября в Одессу, вместо Ленинграда, куда его не допускали власти; проживая в Ростове, продолжал именоваться митрополитом Ленинградским. Его позиция пользовалась значительной поддержкой среди «староцерковного» духовенства и народа в Ленинграде, где от его имени епархией управлял один из викариев — епископ Димитрий (Любимов).

6 февраля 1928 года подписал акт об отходе от митрополита Сергия, став во главе особого течения в Патриаршей Церкви, именуемого в литературе по его имени «иосифлянством». Был запрещён в служении митрополитом Сергием и Временным Синодом при нём решением от 27 марта 1928 года. Запрещения не признал.

В сентябре 1929 года арестован и выслан в Казахстан в Аулие-Ата. Был арестован в ссылке и привлечён к делу «Всесоюзной организации ИПЦ» 9 сентября 1930 года. Первоначально митрополит Иосиф допрашивался в Ленинграде, затем был доставлен в Москву. 27 сентября 1930 года в своих собственноручных показаниях так характеризовал отличие «иосифлян» от сторонников митрополита Сергия: «Сергий хочет быть лакеем Советской власти, мы — хотим быть честными, лояльными гражданами Советской Республики с правами человека, а не лакея, и только». В других показаниях писал: «Била меня когда-то и Царская власть — я терпел… Готов терпеть и от нынешней Советской — всё что угодно, твердо веря, что и она без воли Божией не сильна мне сделать никакого зла».

По постановлению Особого совещания при Коллегии ОГПУ от 3 сентября 1931 года был приговорён к пяти годам заключения в лагере с заменой на высылку в Казахстан на тот же срок. Жил в Мирзояне, на окраине Чимкента. В маленьком казахском глинобитном доме он занимал комнату с верхним светом, обставленную очень скромно: стоял грубо сколоченный стол, топчан и пара стульев. Каждое утро один служил за аналоем, на который ставил небольшой резной складень.

7 июля 1937 года был вновь арестован в ходе массовых репрессий в отношении духовенства. 19 ноября 1937 года был приговорён к расстрелу Тройкой УНКВД по Южно-Казахстанской областию

В полночь 20 ноября был расстрелян вместе с митрополитом Кириллом (Смирновым). Захоронен предположительно в Лисьем овраге под Чимкентом.

Прославлен в лике святых Русской Православной Церковью Заграницей в 1981 году вместе с сонмом новомучеников и исповедников Российских.

15 сентября 2012 года на родине митрополита Иосифа, в городе Устюжне Вологодской области, была установлена памятная доска из чёрного мрамора с надписью «Въ домѣ №14 по этому переулку (бывшему Казанскому) въ 1872 году родился и прожилъ первыя 17 лѣтъ своей жизни священномученикъ Iосифъ, митрополитъ Петроградскій (въ міру Иванъ Семеновичъ Петровыхъ). Разстрѣлянъ въ 1937 году».