Переулок соединяет улицы Маяковского и Радищева. Первоначально, с 1798 года, он именовался 2-м Графским или просто Графским. Происхождение названия неизвестно; 1-м Графским иногда именовали Графский переулок в Московской части, существующий и сейчас. Иногда переулок объединяли с Артиллерийской улицей под общим названием Кузнечный, хотя вообще-то Кузнечным был соседний переулок, ныне Гродненский.

Дабы не было двух Графских переулков, 7 марта 1858 года переулок в Литейной части переименовали. Он стал Саперным, так как вел к казармам лейб-гвардии Саперного батальона (современный адрес – улица Радищева, 37) в составе комплекса казарм Преображенского полка– архитектурный обломы, горизонтальный, прямоугольный в сечении выступ в базе колонны, карнизе и др., иногда практического назначения (защита оконных проемов от затекания влаги).. Современный облик зданию, построенному в 1810-е годы, придал в 1906 году военный инженер Александр Иванов; в советское время оно было надстроено. Саперный батальон как отдельная часть был сформирован в 1812 году.