В 1819 году башню полностью разобрали из-за ветхости при прокладывании Лебедевского проезда (ныне — часть улицы Барклая-де-Толли между улицами Маршала Жукова и Исаковского). Прясла стены, прилегавшие к ней, были снесены в 1889—1890 годах, а в 1898 году остатки земляных валов были проданы частным лицам под застройку и в дальнейшем срыты.

Примерно на место башни сегодня расположено здание смоленского колледжа связи и телекоммуникаций по улице Маршала Жукова, в доме № 2/1).

Международная команда «ДИЗАРХИСТ» предложила комплексное решение по планировке Шеинова бастиона, рядом с которым находилась Антифоновская башня: установка памятника М. Б. Шеину, создание архитектурной формы на вершину бастиона, которая будет воссоздавать «взрыв» башни, размещение пешеходных дорожек на местах рвов вокруг оборонного сооружения. Кроме того, в планах — продлить бастион до несохранившихся участков с Антифоновской и Грановитой башнями в виде архитектурных форм.