Вильгельм Канарис, возглавивший Абвер в 1935 году, внешне мало походил на разведчика. За мягкость в обращении с подчинёнными и неизменное добродушие его прозвали «отцом несчастных», «рождественским дедом» и «седовласым старцем». Да и хобби Канарис себе выбрал невинные: он увлекался кулинарией, занимался своими собаками и надоедал коллегам разговорами о любимых питомцах.
В задачах, стоявших перед руководителем Абвера, не было и намёка на шпионские авантюры в духе Джеймса Бонда. Финансов и сотрудников для эффективной разведывательной деятельности катастрофически не хватало. Канарис ютился в маленьком, бедно обставленном кабинете. Правда, расположение штаб-квартиры Абвера было на редкость удобным. Она соединялась со зданием Генерального штаба вермахта, и сотрудник мог проникнуть туда, не выходя на улицу.
Несмотря на образ «рождественского деда», Канарис оказался руководителем инициативным и честолюбивым. В 1935 году он достиг договорённости о совместной контрразведке против Чехословакии с Австрией и Венгрией. Новые отделения Абвера были открыты в Нюрнберге, Ганновере, Гамбурге и Касселе. Особое значение Канарис придавал анализу экономических разведданных. Экономику европейских государств изучал отдел Абвера, где трудились лучшие «мозги» Германии. Аналитика у ведомства была превосходная, соперничать с ней в середине 1930-х могла лишь чешская разведывательная служба.
По инициативе Канариса резидентуры появились в Испании, Румынии, Афганистане, Иране. В 1936 году немецкие разведчики работали и в Англии. Многочисленные подразделения службы строились по примеру британского Intelligence Service. В 1939-м ведомство насчитывало больше ста самостоятельных отделений. При этом даже приблизительное число служащих назвать невозможно, историки ответить на этот вопрос затрудняются. Известно, что сотрудник не имел ни малейшего понятия о том, чем занимается коллега за соседним столом — то ли секретарь, то ли член разведывательно-диверсионной группы.
Спецслужба вела работу по выявлению советских шпионов на территории Германии, предпринимались попытки вербовки русских. В ход шли подкуп, угрозы и шантаж — в зависимости от психологического настроя «жертвы». Тотальная слежка абверовцев включала в себя и поиск изменников в своих рядах.
Польская кампания вермахта могла сложиться иначе, если бы не работа агентов. Отряды Абвера предоставили руководству Третьего рейха исчерпывающие данные о численности и дислокации польских войск. Сотрудники ведомства вели психологическую «обработку» населения, провоцировали массовые беспорядки. 31 августа 1939 года в ходе операции «Консервы» отряд СС напал на радиостанцию в Польше; слушателям было озвучено антигерманское воззвание на польском языке. Прибавьте к этому активную националистическую пропаганду — агенты прекрасно справились с возложенными на них задачами. Такой же тактики спецслужбы придерживались и в отношении СССР: они подчинили себе подразделения украинских националистов и вели пропаганду среди нацменьшинств.
Немецкие агенты осуществили фактически мирный захват Нидерландов, спровоцировав дипломатический скандал в приграничной зоне. За пару часов разведывательные подразделения овладели основными пунктами — красивая, тщательно спланированная операция.
Ещё одним успехом спецслужб стало обнаружение радиоперехватчиками советской шпионской организации в Берлине «Красная капелла» (альтернативное название — «Красный оркестр»). Расправа над агентами СССР была жестокой: расстрел, повешение, обезглавливание.
Легенду немецкой разведки звали Рейнхард Гелен. Он занимал должность начальника отдела Генштаба «Иностранные армии Востока», принимал активное участие в разработке плана «Барбаросса» и охватил агентурной сетью всю Восточную Европу. За время работы в его отделе накопилось немало секретных документов, и ближе к окончанию Второй мировой стало понятно: они непременно заинтересуют европейские державы. В начале 1945-го Гелен задумал передать эти документы американцам. Материалы были спрятаны в надёжных тайниках, в мае Рейнхард сдался в плен войскам США и предложил сотрудничать. Соглашение было достигнуто, Гелену выделили финансирование и позволили отобрать 350 офицеров вермахта для разведывательной службы в «Организации Гелена». Спустя 5 лет в ней состояли около 4 тыс. человек. В 1955 году она была переименована в Федеральную разведывательную службу Германии.
Канарис, хоть и служил Третьему рейху, недолюбливал Гитлера и нацистскую верхушку. Гитлер, в свою очередь, куда больше полагался на службу безопасности рейхсфюрера СС (СД). В 1939 году служба безопасности и гестапо вошли в состав Главного управления имперской безопасности, начальником которой назначили Рейнхарда Гейдриха. Фактически руководителем разведки был рейхсфюрер СС Генрих Гиммлер.
Службы соперничали друг с другом, что нередко оборачивалось бессмысленным дублированием информации. Аресты, допросы и обыски Абвер проводил с согласия полиции. Служба безопасности, помимо всего прочего, занималась поиском компромата на высокопоставленных чиновников в Германии и за рубежом, в её картотеке числились десятки тысяч досье.
Шпионажем занимался и рейхминистр авиации Герман Геринг — он заполучил электронное устройство, с помощью которого можно было прослушивать телефонные разговоры. Геринг не торопился знакомить с технической новинкой разведывательные службы, организовав вместо этого «научно-исследовательский» институт своего имени, главной функцией которого стала прослушка. Мишенью были высокопоставленные чиновники Третьего рейха, генералы и послы. Так, например, в распоряжении Геринга оказалась беседа чехословацкого посла в Великобритании Яна Масарика и президента Эдварда Бенешема о готовящемся разделе Чехословакии. Утро Геринг начинал не с чашки кофе и газеты, а с мониторинга полученных данных. Его подчинённые занимались и расшифровкой телеграмм: ежедневно прочитывалось несколько тысяч телеграмм из-за рубежа.
Сосредоточить вопросы разведки в своих руках стремился Рейнхард Гейдрих. Именно он планировал операции польской кампании вермахта. Несмотря на то что Вильгельм Канарис помог ему в продвижении по карьерной лестнице, а семья Гейдрих частенько заглядывала к Канарисам на суаре, о дружбе не шло и речи. Рейнхард планировал подчинить Абвер Главному управлению имперской безопасности.
В 1944 году Гитлер поручил Генриху Гиммлеру расформирование Абвера. Причиной тому послужили провальные операции, среди которых — «Длинный прыжок». На Тегеранской конференции предполагалось убить Черчилля, Сталина и Рузвельта, однако советская контрразведка перехватила сообщения о готовящемся покушении. В итоге были арестованы около 400 агентов Абвера. Эта операция обросла множеством легенд; ряд немецких исследователей вообще утверждают, что «Длинный прыжок» — не более чем мистификация.
После покушения на жизнь Гитлера 20 июля 1944 года бывшего главу Абвера Канариса обвинили в подготовке заговора против фюрера. Он был казнён в апреле 1945-го.