Изенгард был частично естественным горным образованием, а частично творением рук нуменорцев (дунаданов). Кольцом его опоясывали каменные стены высотой не более 100 футов (около 30 метров) с единственными воротами, расположенными на юге. От ворот дорога вела к бродам на реке Изен. Внутреннее пространство представляло собой окружность диаметром в милю, изначально наполненным зеленью, фруктовыми деревьями, которые питались от потоков сбегавших с гор к озеру, но во времена владычества Сарумана зелени уже не было. В центре кольца стояла башня Ортханк высотой более 500 футов (около 150 метров), одна из трех важнейших башен Гондора (две другие находились в Минас Анор и Минас Итиль).
Крепость была построена нуменорцами «во дни их могущества» и была частью Гондора, вместе с землями Каленардон. Даже после передачи этих земель народу Эорла Изенгард оставался крепостью Гондора, охраняемый гондорской стражей во главе с Капитаном (этот титул передавался по наследству), а ключи от Ортханка хранились у Наместника Гондора. Двумя милями южнее ворот Изенгарда была плотина и внешняя ограда, тянувшаяся между холмами, которыми заканчивались Мглистые горы. Внутри этой ограды были возделанные земли людей крепости.