Здание было возведено в 1864–1872 годах по проекту петербургского архитектора А.И. Резанова. Дворец построили для Великого князя Владимира Александровича, сына Императора Александра II и брата Императора Александра III, по соседству с комплексом зданий Эрмитажа, служившего императорской резиденцией.