Авдотья Яковлевна родилась в 1820 году в семье актёров Александринского театра в Петербурге. Её родители, Брянские, часто принимали гостей, среди которых были и граф Михаил Милорадович, и князь Дмитрий Шаховской, который стал крёстным Авдотьи, и актёр Василий Каратыгин, и декабрист Александр Якубович. Про последнего Панаева писала в своих «Воспоминаниях»: «Якубович постоянно спорил со всеми и очень горячился, когда говорил. Часто, сильно разгорячась, он сдвигал свою чёрную повязку со лба на волосы, которые у него были чёрные, густые и стояли дыбом, и я всякий раз рассматривала круглое углубление у него на лбу и даже раз ткнула пальцем в это углубление, чтобы удостовериться, есть ли там пуля. Он очень смеялся и защитил меня, когда тётки накинулись на меня и хотели наказать за мою дерзость».
Атмосфера театральных интриг и сплетен, деспотичная мать-картёжница и равнодушный отец — вот что окружало маленькую Авдотью в дни её детства. Девочку отдали в театральную школу, где у всех учениц была одна мечта — обзавестись богатым поклонником. В этом заведении девочек учили тому, как красиво лепетать на французском, правильно кокетничать, смущённо улыбаясь или скромно опуская ресницы. Впоследствии Авдотья Яковлевна опишет безрадостное детство в своём первом романе «Семейство Тальниковых».
Единственной возможностью вырваться из своего круга был брак. В 1837 году она вышла за журналиста Ивана Панаева. Благодаря супругу Авдотья Яковлевна вошла в литературное общество Петербурга и стала хозяйкой популярного литературного салона, в числе постоянных гостей которого были Виссарион Белинский, Аполлон Григорьев, Фёдор Достоевский и другие.
Иван Панаев, по выражению современников, был человеком пустым, любителем увеселений и развлечений, позёром по натуре и редкостным охотником до женщин. Уже в первые месяцы супружеской жизни он потерял интерес к жене, начал ей изменять и кутить. Его совершенно не интересовало, что за Авдотьей Яковлевной довольно явно волоклись посетители салона. Ей не раз признавались в любви, но Панаева была непреклонна.
Вскоре Авдотья Яковлевна познакомилась с Николаем Некрасовым. Он, 22-летний бедный поэт, сразу влюбился в эту смуглую девушку с яркими чёрными глазами, большим алым ртом и тонкой талией. Он признался ей в любви, но Панаева осталась к нему равнодушна, как и к другим своим почитателям. Поэт не сдавался. Однажды они катались на лодке по Неве, и Некрасов вновь начал объясняться в любви. В ответ он услышал лишь насмешку. Тогда не умеющий плавать Некрасов бросился в реку и, конечно, начал тонуть. Его успели спасти. Поэт пообещал броситься в Неву снова, если Авдотья Яковлевна не ответит ему взаимностью. Некрасов сгорал от любви. Постепенно и в Панаевой начало зарождаться чувство, и спустя 3 года она всё же поддалась напору поэта.
В 1848-м Авдотья Яковлевна и Некрасов стали открыто жить вместе в квартире Панаева. Петербург негодовал, вокруг этого трио ходили сплетни. Больше других доставалось нерадивому супругу, при живой жене оставшемуся холостяком и допустившему блуд в собственной квартире. «Только божественное его легкомыслие помогло ему в течение стольких лет играть эту невыносимую роль, которой и часу не вынесли бы более глубокие души. Его спасла его святая пустота, про которую ещё Белинский говаривал, что она неизмерима никакими инструментами», — писал спустя десятилетия Чуковский. Более того, Панаев с Некрасовым начали «дружить» и строить вместе «Современник».
Благодаря своим мужчинам Авдотья Яковлевна была вовлечена в литературную жизнь столицы. «Трудно назвать большого писателя 1840-х, 1850-х или 1860-х годов, с которым она не была бы знакома. Многие были дружески расположены к ней», — отмечал Корней Чуковский.
Годы, проведённые в гражданском браке с Некрасовым, были больше похожи на пытку. Поэт был жутким ревнивцем, нередко оскорблял и бранил Авдотью Яковлевну публично. Они расставались и вновь сходились неоднократно. В конце 1850-го Панаева забеременела, новорождённый не прожил и дня. В 1853 году история повторилась. Панаева была безутешна. Она уехала за границу поправить нервы.
«Его связь с г-жой Панаевой, героиней его лучших и оригинальнейших любовных стихов, продолжалась около десяти лет и стала одним из самых известных романов в биографиях русских литераторов. Некоторое время Некрасов и Панаевы жили втроём (ménage à trois) — жоржсандистский либерализм, популярный среди интеллигенции в середине 19-го века. Обоим — и Некрасову, и Панаевой — эта связь доставила гораздо больше страданий, чем радостей», — писал литературовед князь Дмитрий Мирский.
В 1862 году Панаев скончался. Вместо заключения брака, что казалось логичным в данных обстоятельствах, пара продолжила уже ставшее привычным сожительство. Видимо, такое положение дел устраивало скорее Нескрасова, нежели Авдотью Яковлевну, так как в середине 1860-х она вышла за Аполлона Головачёва, литератора и секретаря «Современника». Он был младше её на 11 лет. У них родилась дочь Евдокия. Авдотья Яковлевна наконец-то обретала настоящее счастье.
Некрасов же после расставания встречался с разными женщинами, даже женился на простой девушке Фёкле Викторовой, но его музой и любовью всей жизни так и осталась Авдотья Яковлевна.
Некрасов и Головачёв скончались в один год, 1877-й. Материальное положение Авдотьи Яковлевны было трудным, поэтому она начала писать мемуары. Они были изданы в 1889-м.