天镇县在东汉时为代郡当城县延陵乡地域。《后汉书·铫期王霸祭遵列传第十》载，东汉光武建武十三年（37）“诏霸将跎刑徒六千余人，与杜茂治飞狐道，堆石布土，筑起亭障，自代至平城三百余里。”又同书马援列传中记载建武二十一年（45）“秋，援乃将三千骑出高柳，行雁门、代郡、上谷障塞。”据上述记载，部分学者考证，平远堡东的长城，即上文所说“亭障”或“障塞”。1986年县文物调查，其“土质硬，呈褐色，夯层厚7-17厘米；夯窝呈圆形，布局甚密，直径约5厘米，深0.5厘米。在夯土层中及西侧遍布绳纹陶片和瓦当等，推其时代为汉魏时期。”