榆次境内有两个伽西村，一个在榆次城南的北田镇，旧县志称南伽西；一个在榆次城北的东赵乡，旧县志称北伽西。两个伽西村虽相距甚远，却系王姓“兄弟村”，村名来历还有一段鲜为人知的故事。

大约明朝前期，榆次南关有个武举人名叫王甲，自幼酷爱书法，其书作凝炼深沉、流畅劲健、自成一体、气势夺人。有一年，修建榆次城隍殿工程竣工后要书写一块匾额，便邀请榆次城西某村的阎姓名人书写。然而，这一名人架子大，三次相邀而不至。人们实在等不及，就一致推举资助修建城隍庙有重大贡献的王举人书写，王举人凭着深厚的功底，挥毫泼墨，一气呵成，（在榆次留下了“阎某三年写不成玄鉴楼，王甲一笔写成城隍殿”的谚语。著名书法家王一新系王甲之后人。）结果，笔迹未干，这一名人姗姗来到，众人赶忙出迎。此时正下着瓢泼大雨，人们在屋檐下冒雨跪着，这一名人仗着点权势，趾高气扬，目空一切，在众目睽睽之下，不仅不下轿，还说些狂妄讥讽之词。王举人与其发生口角，一怒之下拿起砚台砸向此人（也有人说抬腿一脚），正中其太阳穴而当场死亡。榆次知县念其修建城隍庙有功且事出有因，内心有意袒护，赶忙命人将榆次城四门紧闭，表面说是要捉拿凶手，实则让王举人躲避，防止城西某村人来报复。事后，知县在州府周旋、众人联名向上请求从轻发落。然而，人命关天，死罪可免，活罪难逃。判王举人言辞过分将阎大人气死，特此发配他到西夏充军（北伽西王姓祖坟中只有女性的一顶棺材，说明此人客死他乡）。王举人临行前将妻子和两个儿子分别安置到榆次东北、东南的山区为人守坟种地，（南伽西是为太谷贾村人守坟种地）。他们分别在坟的东头、伽蓝庙西起房盖屋，繁衍生息，以求子孙平安。若干年后，这两处地方逐渐形成两个小村庄。因他们是戴罪迁居，父亲是发配到西夏而客死他乡的，为让后人以此事为鉴，就取村名为“伽西村”，意思是“先人戴枷发配西方”。又因两个伽西是兄弟村且一南一北，故名“南、北伽西村”。