Первый Ильинский храм находился, как говорят документы «в городе», то есть в кремле, около Спасского монастыря и был деревянным. В 1679 году он был перенесен «на посад в старый острог» за Глебовские ворота.
Взамен деревянной церкви в 1699-1700 годах из кирпича от обрушавшегося Успенского собора была построена ныне существующая церковь. Позже в ней был устроен придел во имя великомученика Георгия.
В Ильинской церкви служба велась и после революции 1917 года. Храм стал одним из немногих центров церковной жизни Рязани. Сюда стекалось множество народа на богослужение.
Храм был закрыт 18 ноября 1929 года. Его признали пригодным под ссыпку зерна. С этого момента храм не раз перестраивался. Даже в 1940 году власти усмотрели, что «фасад не исправлен от молитвенного здания», и в срочном порядке были приняты необходимые меры. Долгое время в церкви располагался лекторий общества «Знание». Уже в 1990-х годах, когда православные храмы стали передаваться Церкви, Ильинскому храму грозила участь стать Дворцом бракосочетания. Но этого не произошло. 5 февраля 2000 года храм Илии Пророка был вновь освящен.
