Улица проходит от набережной Обводного канала до стыка Киевской и Черниговской улиц с западной стороны Витебской железнодорожной линии. Первое ее название – Сукин переулок – известно с 1791 года и происходит от фамилии землевладельца действительного статского советника Якова Сукина. Железной дороги тогда еще не было, и переулок выходил к Боровой улице примерно против Расстанной. В первой половине XIX века иногда его именовали Огородным.

В 1896 году Сукин переулок вывели вдоль железной дороги к Черниговской улице, а затем его название посчитали неблагозвучным и 17 августа 1902 года присвоили новое – Рыбинская улица, поскольку Витебская железная дорога в то время именовалась Виндаво-Рыбинской. Виндава – это современный латвийский город Вентспилс, а Рыбинск находился в Ярославской губернии. Направления разные, а дорога одна.