Насколько большое преимущество будет у обороняющихся, зависит от самого замка, от того, как он построен. Можно построить такой замок, что его и 100 человек легко защитят (и мы такие строили в варбанде в редакторе). А если этот замок похож скорее на ловушку для самих защитников, то чего удивляться, что его быстро возьмут.