Из воспоминаний В. В. Гришина
Думаю, что в КГБ велись досье на каждого из нас, членов, кандидатов в члены Политбюро ЦК, других руководящих работников в центре и на местах. Можно предположить, что с этим было связано одно высказывание в кругу членов Политбюро Л. И. Брежнева: «…на каждого из вас у меня есть материалы». Мы, правда, не спросили, что за материалы и откуда они, но предполагали, что из КГБ.
Ю. В. Андропов избегал каких-либо дружеских отношений с членами руководящих органов. Ко всем и ко всему он относился недоверчиво, подозрительно. Сугубо отрицательное отношение у него было к тем, к кому не питал симпатии Л. И. Брежнев: А. Н. Косыгину, Г. И. Воронову, П. Е. Шелесту, Д. С. Полянскому и другим. Особенно не терпел своих предшественников по руководству госбезопасностью— А. Н. Шелепина и В. Е. Семичастного. По его докладам Л. И. Брежневу были освобождены от занимаемых постов и выведены из членов ЦК А. Н. Шелепин, Г. И. Воронов, П. Е. Шелест, а также бывший секретарь МГК КПСС Н. Е. Егорычев, председатель Комитета по труду и зарплате А. П. Волков, секретарь Ленинградского обкома КПСС B. C. Толстиков и другие.
С приходом в Комитет государственной безопасности, Ю. В. Андропов добился восстановления управлений госбезопасности во всех городах и районах, назначения работников госбезопасности в НИИ, на предприятия и в учреждения, имеющих оборонное или какое-либо другое важное значение. Органы госбезопасности были восстановлены на железнодорожном, морском и воздушном транспорте, а также в армии и военно-морском флоте. Вновь стали просматриваться письма людей, почта различных организаций. Восстановлена система «активистов», «информаторов», а проще, доносчиков в коллективах предприятий, учреждений, по месту жительства. Опять началось прослушивание телефонных разговоров, как местных, так и междугородних. Прослушивались не только телефоны. С помощью техники КГБ знал все, что говорилось на квартирах и дачах членов руководства партии и правительства. Как-то в личном разговоре Ю. В. Андропов сказал: «У меня на прослушивании телефонных и просто разговоров сидят молодые девчата. Им очень трудно иногда слушать то, о чем говорят и что делается в домах людей. Ведь прослушивание ведется круглосуточно…»
Органы госбезопасности фактически стали бесконтрольными. Конечно, ни о какой гласности или критике их и речи быть не могло. Ю. В. Андропов через Л. И. Брежнева добился того, что КГБ из комитета при Совете Министров СССР стал Комитетом госбезопасности СССР. То есть никому не подчиненной организацией, полностью самостоятельной, фактически подведомственной только Генеральному секретарю ЦК КПСС. Органы госбезопасности практически стали над правительством и даже, в известной мере, над партией. Руководители комитетов и управлений стали непременными членами руководящих партийных органов в центре и на местах. Повысилась роль, место КГБ в системе государства. Они стали активнее проявлять себя в делах охраны страны, в выработке ее внутренней и внешней политики.