Рославль под древним именем Ростиславль был основоположен князем Ростиславом Мстиславичем как один из опорных центров княжеской власти на землях, отвоёванных у радимичей, приблизительно в 1137 году. Незадолго до основания города князь покорил радимичей и присоединил их земли к своим. Ростиславль должен был стать опорным пунктом княжеской власти. Основным населением города были представители князя Ростислава.
В 1358 году Ростиславль был захвачен литовским князем Ольгердом и вошёл в удельное Мстиславское княжество Великого княжества Литовского. В конце 1392 года Витовт прогоняет со смоленского престола Юрия Святославича, ставленника Скиргайло, и сажает туда Глеба, а Юрия посылает княжить в город Рославль[29]. Дань собиралась не только деньгами, но и продуктами: мясом, зерном, мёдом и т. д., но отплата деньгами была предпочтительнее. Кроме налога литовскому князю, населению необходимо было платить и смоленскому правителю.[28].
Желая освободиться от иноземного владычества горожане решили перейти под власть Московских князей, однако добиться цели удалось только после трёх продолжительных и кровопролитных войн.
В 1515 году Ростиславль был возвращён Великому княжеству Московскому воеводой Андреем Сабуровым[30]. В 1514 году войска Василия III смогли отбить Смоленское княжество, но Рославль и ещё несколько городов продолжали оставаться в руках Литвы; оказаться под властью московских князей городу удалось к 1522 году по условиям перемирия.
Современное название город получил в 1755 году.