Первые упоминания о Несвижском замке встречаются в летописях 13-го века. Его владельцем в те времена был Юрий Несвижский, принимающий участие в битве с татарами на реке Калке в 1224 году. В период с 13 по 15 века князья Несвижа владели замком на условиях несения военной службы. Только в 1492 году Несвиж перешёл князьям Кишкам, княжна Анна из рода которых в 1513 году обручилась с Яном Радзивиллом. Вместе с женой Ян заполучил и замок. Так дворец стал резиденцией князей Радзивиллов на несколько веков.
В 1583 году (о дате свидетельствует плита, размещённая над входом во дворец) первый ординатор Несвижа - Николай Христофор Радзивилл Сиротка - выступил инициатором перестройки дворца, основные работы по которой были завершены уже начале 17 века. В ходе строительных работ деревянные стены были заменены на каменные.