黑山军首领张燕一度接受汉灵帝的招安，董卓之乱后，黑山军再度活跃，黑山军以太行山为依托，以黑山为根据地。黑山位于太行山脉南端，是张燕黑山军的大本营，就如同白波军的白波谷。黑山军活动于中山、常山、赵郡、上党、河内等太行山脉山间谷地。太行山脉高峰迭起，海拔多在两千米以上。山脉东南为河北平原，西北是山西高原，河北平原通向山西高原的陉道多分布在太行山脉之间。这一地势特点方便了分布在太行山群山中的黑山军各部相互联络。
朝廷曾派大将皇甫嵩带兵围剿，但不久西北战事吃紧，皇甫嵩不得不去救援，黑山军得以纵横河北。
初平元年（190），董卓挟献帝迁都长安，东汉朝廷失去对关东的控制。以声讨董卓为名的关东各路诸侯为争夺地盘厮杀。公孙瓒占有幽州大部，袁绍取代韩馥，自领冀州牧，双方为争夺冀州东部和青州展开激烈拉锯战。
此时形势对黑山军相当有利。东汉朝廷名存实亡，再也无法像镇压黄巾军那样调动中央军和地方军对其实行围剿。关东各军事集团忙于争夺地盘，无力也无心与黑山军开战。
