Не нужно заново начинать. Оставьте замок и уходите с тем, что есть.
Правильно, что нужно оставить замок, а вот уходить - нет, не стоит

. Лучше вновь его у них захватить - фишка в том, что когда ГГ штурмует замок или город, в котором несколько сотен солдат, не требуется вырезать их всех.
Заранее оговорюсь, что я описываю данную ситуацию на примере Пендора, но думаю, что в Нативе всё аналогично. Так вот, в Пендоре не редкость гарнизоны под 400-500 человек, есть даже 1000, но для захвата таких замков мне требовалось перебить порядка 330 врагов при размере своей армии ~150. Возможно, количество врагов, которое требуется уничтожить для победного штурма, зависит от уровня ГГ и размера его войска, не знаю.
Возвращаясь к проблеме
D1versant-а: сколько бы войска не набилось в тот несчастный замок, не потребуется уничтожать его целиком, а только какую-то его часть. Но всё-равно предстоит бой, скорее всего, как минимум с двукратно превосходящим врагом, так что армия для этого нужна соответствующего качества, раз уж в количестве точно нет преимущества.
PS. Вообще, при обороне замка тоже не требуется перемалывать всех осаждающих, но я не знаю при каких потерях штурмующее войско отхлынет - очень редко мне приходилось участвовать в осадах на стороне осажденных, а если и приходилось, то в гарнизоне замка всегда сидели очень жесткие ребята, могучие стрелки, и я точно знал, что мне ничто не угрожает)).