Другое название объекта — Еленинские ворота: одна из версий гласит, что это связано с дорогой на Ельню, которая здесь открывается.
Как пишет историк Иван Иванович Орловский, на Еленских воротах с 1602 года стояла икона Спасителя, которая затем хранилась в Архиерейской усыпальнице в Успенском соборе. Следы от навеса над киотом иконы можно до сих пор видеть на восточной стене башни.
В 1609 году в росписи воеводы Михаила Шеина описано, что в осадное время Еленские ворота и примыкающее к ним прясло защищали 77 человек. Вынес объект и осаду в период Смоленской войны 1632−1634 годов.
В 1812 году башня пострадала во время штурма Смоленска французами. Сгорели кровля и деревянные перекрытия. После оставления города русскими войсками Наполеон въехал в Смоленск именно через эти ворота.
После окончания «военной» истории крепости, башня использовалась как складское помещение. К примеру, с 1877 по 1898 год башня была занята под архив. В 1898 году проезд через башню закрыли.
Никольские ворота стали первой башней, которую предложили использовать как музей. Еще в 1870-е годы башню в качестве музея планировало использовать Общество сельского хозяйства. Но эти планы не сбылись.
С 1907 года башню занял архив, а с начала 1980-х годов здесь размещался пункт телефонной связи. Музейная история башни начата сравнительно недавно. В 2012 году в ней разместился музей «Смоленский лён».