蜀乱平后，山中贸易本有专人，再一乘机经营，从上到下人人富足。所以由崙只管享受奢华，把一座王府建得和天宫一样富丽无比，大片芙蓉坪简直像个大花园，人民反觉理所当然，比前更盛，无一怨言。不久继配死去，三娶便是江小妹之母江芷芳，也是一位侠女，文武双全，人更美貌。由崙中年得此美妻自是爱极。无奈天性好色，加以中年无子，芷芳善妒，不许纳妾，由崙先还与之相安，后见清室势盛，更难作为，自己年老无子，越发消了壮志。彼时一班英侠之士和所结交的异人本常来往不断，虽然看出主人壮志消沉，因知时势所限，连南王（云龙山主王人武，事见《蛮荒侠隐》）、北周（事详《边塞英雄谱》、《冷魂峪》全集）聚有那许多异人奇士，尚且无功，何况由崙，也都不去怪他，仍以好友相待。
不料由崙年老好色，听信好人之言，聘来一个梵僧，服了春药，背着芷芳常时借口出巡，在外面弄了好几个姬妾外宠，逐渐荒淫起来；不久又在山中大兴土木，造了不少机关以作防御外患之用，以致众心解体，好些不以为然。为了山中富足，人民只觉法令渐严，还不怎样；就有一点看不上限，想起他父子多少年来的好处，也就不甚在意。那些高人异士劝了几次不听，有的不辞而别，有的当面数说了一顿，明言绝交，如不改过，永不登门。说完拂袖而去。
