Родилась Вирджиния во Флоренции в аристократической семье. Вскоре после замужества она переехала вместе с супругом в Париж. 17-летней девушке, обладавшей красотой, обаянием умом и дерзким нравом, предстояло обворожить императора Наполеона III и, став его любовницей, добиться поддержки в деле объединения Италии. Миссию эту Вирджиния придумала не сама, а получила от своего кузена, премьер-министра Сардинского королевства графа Камилло Бенсо ди Кавура. Наполеона долго очаровывать не пришлось — цель была достигнута практически по заветам Гая Юлия Цезаря: пришел, увидел, победил.
Графиня была так увлечена собой, нарядами, украшениями, маскарадами и прочими женскими утехами, что нет ничего удивительного в ее позировании перед камерой. Ее прихоти безропотно исполнял придворный фотограф Пьер-Луи Пьерсон. Довольно скоро от классических сюжетов, перенятых у живописи, ди Кастильоне перешла к собственным фантазиям. Она обнажалась, и разряжалась, примеривала различные образы, лежала и принимала невообразимые позы. А ее загадочные взгляды вызывали у зрителей немало вопросов.
Графиня очень гордилась формой своих ног, а потому и для них была придумана серия фото. Такие откровенные по тем временам снимки Вирджиния могла рассылать своим поклонникам, в коих недостатка не было.
Кстати, свои снимки графиня могла отправить не только друзьям, но и врагам. Для таких случаев был заготовлен сюжет-угроза: например, в серии «Месть» ди Кастильоне предстает со свирепым взглядом и кинжалом в руках.
Графиня проделывала колоссальную работу, готовясь к съемке. Но самое интересное начиналось, когда снимки были у нее в руках. Ди Кастильоне начинала их править: раскрашивать, подрисовывать, скрывать недостатки, «худить» себя.
Графиня считалась первейшей красавицей. Неудивительно, что с возрастом она впала в депрессию, а в какой-то момент и вовсе огородилась от мира толстыми стенами своего дома, который покидала только по ночам. Ди Кастильоне хотела, чтобы ее помнили молодой свежей красавицей и не знали, как жестоко обошлось с ней время. Сотни фотографий и некоторые личные вещи достались поэту Роберу де Монтескью, который выкупил их на распродаже. Будучи поклонником графини, он посвятил 13 лет своей жизни написанию биографии ди Кастильоне.