На Набережной канала Цны, напротив Спасо-Преображенского кафедрального собора находится один из трёх знаменитых святых источников, открытых первым тамбовским епископом Святителем Питиримом. Два других источника, открытых Питиримом, находятся в с. Трегуляй на бывшей территории Иоанно-Предтеченского мужского монастыря. С момента открытия источника в конце XVII века и до 20-х годов XX века Святой источник св. Питирима у Спасо-Преображенского собора был местом массового паломничества.
В 1914 году к торжествам посвящённым канонизации святителя Питирима Тамбовского над источником была сооружена водосвятная часовня. Эта часовня была построена из металлических конструкций на пожертвование вдовы российского императора Александра III и матери Николая II, императрицы Марии Фёдоровны. От кафедрального собора к источнику была сооружена роскошная мраморная лестница.