Между башнями Вышкой и Рябиновкой в верхней части прикладки стены расположены две полосы типичного псковского орнамента из треугольных впадин и положенных на ребро плит, а также три больших каменных креста. Это повторяющийся декор на приступной стороне крепости заставляет задуматься над тем, что вряд ли он служил только целям украшения крепости.
К Изборску подходила Печорская дорога, но из-за высоких стен приступной стороны крепости не был виден Никольский собор. Три больших креста на стене, возможно, и обозначали место, где стоит храм. Орнамент псковских церквей "бегунец", перенесённый на стены и башни боевой крепости, подтверждали эту версию.
Однако эти декоративные вставки одновременно подчеркивают суровую архитектуру башен и стен, их монументальность и простоту. Вот почему и кажется, что Рябиновка не всегда была Рябиновкой, а носила более строгое имя. Своё теперешнее название, которое известно с XVI века, башня вероятно, получила оттого, что возле неё росло много рябины. Так, во всяком случае, считают местные жители.
Башня Рябиновка состоит из шести ярусов и достигает 16 метров в высоту. Стены её верхних ярусов тоньше нижних. В каждом ярусе было по нескольку бойниц, распологающихся в шахмотном порядке. Имелось два выхода - на верхнюю площадку стены и в город. Выход в город был расположен на уровне земли. Сейчас он засыпан, но если оказаться внутри башни, то его следы легко обнаружить.