История этой семьи берет своё начало от бракосочетания немецкой принцессы Анны Леопольдовны (племянницы тогдашней русской императрицы Анны Иоанновны) и принца Брауншвейгского Антона Ульриха (приехавшего в Россию на военную службу несколькими годами ранее) летом 1739 года в Санкт-Петербурге.
Невесте было всего 14 лет: со своей матерью, сестрой российской императрицы, они жили при дворе в столице и наслаждались всеми предоставленными условиями. Жениху было 24 года: приехав на службу в Россию, немецкий принц постоянно находился под влиянием той же Анны Иоанновны. Она устроила его полковником в кирасирский полк, продвигала по карьерной лестнице, а в 1738 году удостоила, за участие во взятии Очакова годом ранее, двумя самыми высшими орденами Российской империи — Св. Апостола Андрея Первозванного и Св. Александра Невского.
Таким образом брак был построен совсем не на любви: не исключено, что невеста испытывала к жениху чувство, близкое к отвращению, за его заикание, неуклюжесть и маленький рост. Свадьба состоялась 3 июля, был организован грандиозный бал, празднование и салют. В августе следующего года у пары рождается долгожданный первенец, названный Иоанном. Осенью того же 1740 года происходят грандиозные исторические события.
Сначала, в октябре, умерла от почечнокаменной болезни императрица Анна Иоанновна, незадолго перед этим назначив наследником престола младенца Иоанна, а регентом при нём установила своего приближенного Эрнста Бирона. Антон Ульрих, глава семейства, был недоволен завещанием и даже попытался организовать заговор против Бирона, однако тот был раскрыт из-за нерешительности и неуверенности принца как организатора.
В ночь с 8-го на 9-е ноября совершился переворот: Бирон был арестован, а законной правительницею провозглашена Анна Леопольдовна. Её муж получил звание генералиссимуса российский войск и чин подполковника конной гвардии. Тем не менее основными делами пытался руководить не он, а возглавивший переворот фельдмаршал Бурхард Миних, которого сам Ульрих не уважал, но не смел открыто перечить.
Правительница Анна Леопольдовна не слушала их обоих, предпочитая других советчиков. Оппозиционный Миниху Андрей Остерман хлопотал, чтобы престол возглавил принц Ульрих, но тот не пожелал принять православия. Все эти разногласия, нерешительность и разные направления деятельности во имя собственной выгоды позволили появившейся осенью 1741 года Елизавете Петровне, дочери Петра I, довольно легко овладеть престолом и отправить Брауншвейгское семейство Антона Ульриха, Анны Леопольдовны и их годовалого сына Иоанна в продолжительную ссылку.
Почти три года семья перевозилась по крепостям (например, в Риге), пока, наконец, 9-го ноября 1744 года они не были отправлены в ломоносовские Холмогоры. Именно здесь отчасти привыкшая к тяготам и труду императорская семья начала более-менее размеренную жизнь, а также пополнилась новыми членами. Еще летом 1741 года, в крепости Динамюнде, родилась Екатерина, а с сентября 1743 по февраль 1746 года на свет появились Елизавета, Пётр и Алексей, после родов которого в горячке и умерла Анна Леопольдовна.
Для наблюдения за всей семьей был определен штаб-офицер с командой. Любое общение с посторонними было строго запрещено. Дети Антона Ульриха и Анны Леопольдовны не знали другого языка, кроме русского, так как воспитывались и играли с детьми простолюдинов. В 1761 году, когда на престол взошла Екатерина II, она предложила принцу право на выезд за границу, однако тот отказался, так как выезд был бы возможен без детей. В мае 1776 года Ульрих умер, совершенно ослепший и больной, в окружении детей, а похоронили бывшего генералиссимуса внутри ограды дома. После смерти отца главой Брауншвейгского семейства в Холмогорах стала принцесса Елизавета Антоновна. В 1780 году по ходатайству датской королевы Юлианы-Марии, сестры Антона Ульриха, Екатерина II выслала семейство в датские владения, где им был назначен для жительства городок Хорсенс, со всей необходимой одеждой и вещами, а также фамильными ценностями.
У первенца Ульриха, императора-младенца Ивана VI Антоновича, была совсем другая, более тяжкая судьба. В начале 1740-х, когда семейство жило в Риге, маленького Иоанна забрали от родителей и держали в соседней от них комнате, но об этом мать с отцом совершенно не знали. Здесь, полностью изолированный, он и провёл детство. В Петербурге тем временем императрица Елизавета Петровна полностью определяла жизнь законного, но ссыльного императора: она выпустила указ о сдаче монет с его изображением, а вскоре и хранение оставшихся стало преступлением; портреты Ивана уничтожались, документы с его именем заменялись.
Страх императрицы достиг апогея в 1756 году, когда тщедушного, замученного императора перевезли в одиночную камеру Шлиссельбургской крепости. «Известный арестант», как его официально называли, почти не видел людей, а через три года начал заболевать и терять рассудок. В течение всех лет заточения предпринимались попытки «освободить» императора, а последняя состоялась в 1764 году, когда уже царствовала Екатерина II. При попытке освобождения поручиком Мировичем Иван VI был заколот стражниками, которые были обязаны убить наследника при попытке его освобождения. Поручик был публично обезглавлен как государственный преступник, однако до сих пор существует версия, что и это «освобождение» было лишь четко спланированным убийством, подготовленным императрицей.