懷遠堡（橫山舊城）位于今橫山縣城南一公里處蘆河東岸的柴興梁村白家梁山上，東臨東門溝，南對崗家梁，西眺西關街，北隔東門溝于李家坬相望，蘆河從城西自西而東流過。堡內現大都被辟為耕地，有居民二十余戶，約150人。明天順二年（1458年）撤土門堡軍移守于此，建懷遠堡。成化七年（1471年），延綏巡撫余子俊加修懷遠堡城墻，隆慶六年（1572年）郜光先加高城墻，萬歷六年（1758年）磚砌牌墻垛口，清雍正九年（1731年）以五堡（響水堡、波羅堡、懷遠堡、威武堡、清平堡）設縣，因懷遠堡居中，便利而設縣址，取“懷柔邊遠”之意，定名“懷遠縣”。乾隆三年（1738年）11月懷遠地震，民舍、城墻傾毀過半，知縣蘇淇昭助民補房，恢復城墻，乾隆十四年（1749年）在城內創(chuàng)辦了巖綠書院，同治七年（1868年）四月，回民攻克懷遠，知縣劉昌藩被戳，部分城墻、廟宇被毀。民國三年（1914年）因與安徽懷遠重名，改懷遠縣為橫山縣，1935年土地改革時期，劉志丹曾兩次率紅軍攻打橫山縣城未克，1946年9月18日縣城解放。2008年9月16日被陜西省人民政府公布為第五批陜西省重點文物保護單位。