现存榆次老城在汉故城西南，始建于隋文帝开皇二年(582年)。初建成时为土城，城“周五里，高三丈，基广四丈，上广两丈，池阔与高等，深半之”。因为榆次为省城太原南大门，历来为兵家必争之地，所以城池必须坚固。明成化二十三年 1487年)，知县梁琼重新修城墙，用砖、石裱了城墙的一小部分，用铁皮裹护了各城门，在护城河外沿遍植柳树，以保护之。明嘉靖二十年( 1541年，俺答入侵榆次。时任榆次知县李鹏和朝廷外派知府正好归榆的榆次人寇天舆督工修炼，经过几个月的修葺，把土城墙全部砌为砖墙，且墙基增宽一丈，达到了五丈，墙高增加五尺，达到三丈五尺，城墙上增设敌台20个，角楼4座，增设警辅16个，同时，重新清理了护城河，在护城河外设置掩护性建筑。这是榆次城池历史上规模最大、最彻底的一次修葺，自此榆次城由土城变为砖城，可谓森严壁垒了。榆次城设有四门，上建楼橹。城之东门名叫迎曦门，南门叫观澜门，西门叫带汾门，北门叫望岳门。榆次南关村位于榆次城南门外，明嘉靖二十年(1541)俺答入侵榆次时，榆次城固若金汤，城内官民免遭灾难，而紧靠县城的南关却被贼兵血洗。贼兵大掠十日，关民数千家，半数被焚戮，财劫掠无数。所以在第二年，即嘉靖二十年( 1542)知县主持为南关修筑了郭城。

郭城为土城，呈半圆形，东西两端与县城相联。"周匝五百四十七丈，高一丈九尺，广一丈二尺，池阔二丈，深丈余。”为此，南门瓮城即被拆除。但南关郭城城池低浅，俺答来犯不足以御敌，并有累及大城之嫌，一时为城关官民之虑。嘉靖四十一年( 1562)，萧大享知县计划用砖修葺南关郭城，但因迁职未果。直到万历二十一年(1593)及其后，徐守谦知县和张鹤腾知具，在萧大享（时任大同大司马）的大力支助下，使郭城加固，增高士城，又以砖砌之，达到“周六百五十三丈，高三丈，基阔两丈五尺，上阔一丈八尺，置敌台十二，高于楼等。池外列垣，高五尺”。郭城北傍榆次大城向南、向东、向西开三个城门。城门上都建有门楼，南门上门匾为“万春”（民同称为郭门），左边门周为“东作”（民间称为小东门），右边门周为“西成”（民间称为小西门）。届此，由县城和郭城组成的愉次老城基本定型，后虽有多次修葺，但总体上没有多大变化。20纪50年代，在全国范国内对城市进行改造，拆除城墙，榆次办未另外。到二十世纪末，作为老城的标志，榆次老城只保留了西城门和南城门处的一小段城墙土。2002年5月，在社会各界的关注下，中共榆次区委、区政府成立榆次老城文化旅游开发有限公司，对榆次老城进行抢教性修复。范围北起小井巷南到张家巷，东起俞家牌楼街，西到西门外，包括榆次老城内南部和南关城北部及旧城西门和西门外的一部分。2003年9月，一期工程竣工，修复了城隍庙、县衙、清虚阁、市楼和南、北、东大街及其街道两侧的商铺等，向游人开放。204年9月，二期工程竣工，又修复了文庙、凤鸣书院，完善了各建筑设施，并进行了内部布展陈列开放了的榆次老城。