Ворота частично разрушались в 1611 году при осаде города войском польского короля Сигизмунда III — они были взорваны. Восстанавливались в 1611 году поляками при укреплении города. Полностью разрушены в 1782−84 годах.

При постройке башни под фундаментом стены была сооружена галерея («слух»). Ворота башни вели в Рачевское предместье, и в них имелась металлическая опускаемая решётка (герса). Перед ними был устроен острог в виде земляного равелина.

У башни при мосте через ров были сооружены караульная будка и гауптвахта (кордегардия). Разобрана была башня из-за ветхости в 1782−84 годах. В 1812 году был разрушен и её фундамент. На его месте образовался пролом, по которому прошла дорога на Рачевку (современная улица Соболева). Ещё в начале XX в. были видны остатки земляного возвышения, ранее окружавшего ворота равелина.

Сейчас о наличии здесь когда-то великого исторического сооружения не напоминает ничего. Лишь в 130−150 метрах виднеется «выжившая» и одинокая Костыревская башня, вырванная из общей картины крепостной стены. А на месте некогда Крылошевских ворот нет ничего: напротив локации находится дом № 1 по улице Тимирязева, полуразрушенное здание, являющееся памятником архитектуры первой половины XIX века.

Международная школа дизайна архитектурно-исторической среды «ДизАрхИст» предлагает по-новому взглянуть на территорию, прилегающую к утраченным воротам, а именно: преобразовать промзону под современное пространство «Металлобаза». Имеющиеся постройки предлагают использовать для мастерских, хостела и студии звукозаписи, а также для летнего кинотеатра.