Основан, если верить преданию, в 1288 году брянским князем Романом Михайловичем. Легенда гласит, что князь внезапно стал терять зрение. Для исцеления он послал в Киево-Печерский монастырь за чудотворной иконой — Печерской иконой Божией Матери. Во время путешествия по Десне икона чудесным образом исчезла из лодки и оказалась на берегу реки Свинь (с XVII в. — Свень), куда и пришёл князь. После молитвы перед иконой он исцелился. На этом месте он повелел основать монастырь, срубить храм во имя Богоматери, и наделил его землями. По названию реки Свини монастырь вплоть до XVII века носил название Свинский.
Документальные сведения о существовании обители появляются в XVI веке, когда Иван Грозный повелел поставить здесь две каменные церкви, в том числе восстановленный в 2011 году храм свв. Антония и Феодосия Печерских. В 1583 году монастырь разорён литовцами, в 1664 — крымскими татарами. Архитектурный ансамбль монастыря принадлежит к традиции слободского барокко. В 1679 году возведена надвратная Сретенская церковь, сохранившаяся до нашего времени. По церковной легенде, в монастыре бывал Пётр I. Домик, где он якобы ночевал, сохранялся до начала XX века, а «дуб Петра Великого» и сейчас стоит перед монастырём, являясь известной достопримечательностью.