В IV–VIII веках на этом месте находилось деревянное поселение, на территории которого во второй половине XIII века появились каменные замковые укрепления. В первой половине XIV века они стали важнейшим строением на обносимой каменной стеной обширной территории Нижнего замка. Со времен первых Гедиминовичей здесь находилась резиденция почти всех правителей Литвы. Они постоянно расширяли замковый дворец, а в конце XV века приступили к его капитальной реконструкции. Поначалу бывшая готической, в XVI веке репрезентационная резиденция великих литовских князей стала роскошным ренессансным дворцом. В первой половине XVII века он приобрел некоторые черты раннего барокко. В те времена Вильнюс был одним из крупнейших городов Восточной Европы. В середине XVII века дворец пострадал от занявшего Вильнюс московского войска, а в конце XVIII века – начале XIX века был снесен.
В 2000 году Сейм (парламент) Литовской Республики принял закон о воссоздании Дворца правителей и его назначении. Спустя два года начались строительные работы. В 2013 году два из четырех корпусов Дворца правителей открылись для посещения.