Происхождение и родина его неизвестны. Подвизался в городе Ростове в царствование Ивана Грозного (1547-1584 гг.) в подвиге юродства, терпя нужды и скорби и не имея постоянного пристанища. Живя в смирении, терпении и непрестанной молитве, он духовно окормлял многих, в том числе и блаженного Иринарха, затворника Ростовского (+ 1616 г.; память 13/26 января). Блаженный всегда носил с собой и читал Псалтирь.

Скончался в глубокой старости 3 сентября 1580 г. Был погребен, по завещанию, возле церкви святого Власия, за алтарем. Он имел «власы на главе велики», потому и назывался Власатым. Наименование Милостивый блаженный Иоанн получил за многие исцеления, совершившиеся при его гробнице, а также в память св. патриарха Александрийского Иоанна Милостивого (VII в.; память 12/25 ноября), имя которого он носил.