благосостояние может привлекать крупные банды с других территорий - по принципу налёт на деревню и даже замок (если там не большой гарнизон), напали, ограбили, сожгли, - ушли (что то вроде кочевых набегов).

Вот такого не в коем случае не должно быть,попытаюсь дальше развить идею:никакие бандиты,ни степняки не способны взять что ли бо штурмом,но идея имеет право на жизнь,т.к в бандиты опуссказиль и рыцари сословием победнее,бунтари у которых не осталось денег на содержание своего поместья,а крестьяне,который прислуживали господину обратились в разбойники.
Если грабежи окрестных деревенек продолжались удачно,то бедный рыцарь-бандит мог привлечь на свою сторону таких же обездоленных воинов-профессионалов...тут уже другой разговор,но нападать они скорей всего должны там где гарнизон мал,и непрофессионален.
Вдохновляясь идеей крестовых походов,можно предположить что в "святой земле",у Саррадинов остались рыцари беглецы,которым не сопутствовала удача в битвах,и они немного осели что бы вернуть себе обратно честь и потерянное состояние.