В возрасте 15 лет святой Иосиф ушел в Фессалоники и поступил в монастырь. Он отличался благочестием, трудолюбием, кротостью и пользовался любовью всей братии обители. Впоследствии преподобный был посвящен в сан пресвитера.
Преподобный Григорий Декаполит (память 20 ноября) посетил монастырь и заметил молодого инока. Он взял его с собой в Константинополь и поселился с ним вместе при церкви святых мучеников Сергия и Вакха. Это было в царствование императора Льва Армянина (813 — 820) — время жестоких иконоборческих гонений. Преподобные Григорий и Иосиф безбоязненно отстаивали почитание святых икон. Они проповедовали на площадях города, посещали дома православных, утверждая их против еретиков. Положение Константинопольской Церкви было крайне тяжелое: не только император, но и Патриарх были иконоборцами.
В то время римские епископы были в единстве со Вселенской Церковью, и Папа Лев III, неподвластный византийскому императору, мог бы оказать большую помощь православным. Православные иноки избрали посланником к Папе преподобного Иосифа как наиболее стойкого и красноречивого. Преподобный Григорий благословил его ехать в Рим и известить о положении Константинопольской Церкви и опасности, грозящей Православию.
Во время путешествия преподобный Иосиф был схвачен разбойниками-арабами, подкупленными иконоборцами, и отправлен на остров Крит. Там они передали его иконоборцам. Преподобный Иосиф был заключен в темницу. Мужественно перенося все лишения, он поддерживал и других узников. По молитвам преподобного один православный епископ, начавший было колебаться, настолько укрепился духом, что мужественно принял мученическую кончину.
Шесть лет провел преподобный Иосиф в темнице. В Рождественскую ночь 820 года он удостоился видения святителя Николая Мирликийского, который известил его о смерти гонителя-иконоборца Льва Армянина и о прекращении гонений на святые иконы. Святитель дал преподобному свиток и сказал: «Прими этот свиток и съешь его». В свитке было написано: «Ускори, Щедрый, и потщися яко Милостив на помощь нашу, яко можеши, хотяй». Преподобный прочитал свиток, съел его и сказал: Коль сладка гортани моему словеса сия (Пс. 118, 103). Святитель Николай велел ему пропеть эти слова. После этого оковы сами спали с преподобного, двери темницы отворились, и он свободно вышел из нее и был восхищен на воздух и поставлен близ Константинополя на большой дороге, ведущей в город. В Константинополе преподобный Иосиф уже не застал в живых преподобного Григория Декаполита, а встретился лишь с его учеником блаженным Иоанном (память 18 апреля), тоже вскоре скончавшимся. Преподобный Иосиф построил церковь во имя святителя Николая и перенес туда мощи преподобных Григория и Иоанна. При церкви был основан монастырь.
Преподобный Иосиф получил также от одного добродетельного мужа часть мощей апостола Варфоломея. Он построил церковь во имя святого апостола и хотел торжественно почтить его память, но сокрушался, что не было хвалебных песнопений, прославлявших память святого апостола, сам же он не дерзал их составить. Сорок дней со слезами молился преподобный Иосиф, готовясь к празднику памяти апостола. В навечерие праздника в алтаре ему явился апостол Варфоломей, возложил ему на грудь святое Евангелие и благословил писать церковные песнопения со словами: «Да благословит тебя десница Всесильного Бога, и да изольются на язык твой воды Небесной Премудрости, сердце твое да будет храмом Духа Святаго и песнопения твои да усладят вселенную». После этого чудесного явления преподобный Иосиф написал канон апостолу Варфоломею и с тех пор стал слагать церковные песнопения в честь Божией Матери, святых угодников и в их сонме — в честь святителя Николая, освободившего его из темницы.
Во время возобновления иконоборческой ереси при императоре Феофиле (829 — 842) преподобный Иосиф вторично пострадал от еретиков. 11 лет он был в изгнании в Херсоне. В 842 году при святой царице Феодоре (память 11 февраля), восстановившей православное почитание святых икон, преподобный Иосиф был поставлен сосудохранителем в Софийском соборе в Константинополе. Но за смелое обличение брата царицы Варды в незаконном сожительстве он снова был отправлен в изгнание и возвращен лишь после смерти Варды, в 867 году.
Патриарх Фотий (857 — 867, 877 — 886) восстановил его в прежней должности и назначил духовником всего константинопольского клира.
Достигнув глубокой старости, преподобный Иосиф заболел. Перед самой Пасхой, в Великую Пятницу, Господь известил его в сновидении о приближении кончины. Преподобный сделал опись церковного имущества Софийского собора, которое по должности было на его попечении, и отослал ее патриарху Фотию. Несколько дней он горячо молился, готовясь к смерти. В своих молитвах преподобный просил Церкви мира, а своей душе — -милосердия Божия. Причастившись Святых Христовых Таин, преподобный Иосиф благословил всех, бывших при нем, и с радостью преставился к Богу (+ 883). Лики Ангелов и святых, которых преподобный Иосиф прославил своими песнопениями, с торжеством проводили душу его в Горний мир.
О духе и силе песнопений преподобного его жизнеописатель, диакон Константинопольской Церкви Иоанн, так писал около 890 года: «Когда он стал писать стихи, те» и слух поражал чудной приятностью звука, и поражал сердце силой мыслей… Чудное отдохновение находят здесь те, которые стремятся к жизни совершенной… Писатели, оставив другие стихотворения, из одной этой сокровищницы — из писаний святого Иосифа — стали черпать сокровища для своих песней, или лучше сказать, ежедневно их черпают. Наконец, все народы переводят их на свой язык, чтобы просвещать песнями тьму ночи и, прогоняя сон, продолжать бдения до восхода солнечных лучей… Если кто прочтет жизнь святого, празднуемого в какой-либо день Церковью, тот сам увидит достоинство песней святого Иосифа и узнает жизнь прославляемого. Подлинно, тогда как жизнь и дела почти каждого святого украшены хвалами, не достоин ли бессмертной славы тот, кто так достойно и прекрасно умел прославить их! Пусть славят иные святые кротость его, другие — мудрость, третьи — дела его, и все вместе да славят благодать Святаго Духа, которая так щедро и безмерно обогатила его своими дарами».