Будущий революционер родился 30 августа 1846 года в Петербургской губернии. Его отец занимал чин коллежского регистратора. Постигал науки в мужской гимназии, затем был зачислен на юридический факультет Петербургского университета. Учился прилежно, однако был вынужден оставить университет — средств у молодого человека не имелось. Соловьев без особого труда нашел себе работу: он начал преподавал в училище в Торопце. Ничто не выдавало в юноше революционера — он, казалось, был целиком и полностью увлечен работой. Учителем работал на протяжении 7 лет, затем изучал кузнечное дело. Членом общества «Земля и воля» Соловьев стал в 1876 году. Всего в эту организацию входили около 200 человек. «Земля и воля» оправдывала террор против отдельных чиновников. Член общества Осип Аптекман писал: «революционер становился все более и более агрессивным… У него за поясом кинжал, а в кармане — револьвер: он не только будет защищаться, но и нападать… Неумолимая логика событий втянула революционеров в свой водоворот, и они, чтобы не захлебнуться, ухватились за террор, как утопающий за соломинку».
Революционер Николай Морозов так охарактеризовал своего соратника Соловьева: «…Мне особенно нравился своей мягкой вдумчивостью и приветливостью. Его молчаливость явно не была результатом ограниченности. Нет! Когда его спрашивали о чем-нибудь, он всегда отвечал умно или оригинально, но и он, как я, и даже несравненно больше, любил слушать других, а не говорить им что-нибудь свое».
Вера Фигнер также обращала внимание на сдержанность, отстраненность Соловьева: «При общих разговорах Соловьев молчал и был… крайне скуп на слова; говорил он отрывисто и глухо…» Среди «землевольцев» это, конечно же, была странная фигура. Его наружность, если чем и обращала не себя внимание, то необычайно угрюмым выражением лица. Высокого роста, худощавый, он был неловок в техническом отношении, и в обыденной жизни с ним часто случались разные приключения, вызывающие шутки со стороны близких товарищей… Пойдет гулять… непременно попадет в какое-нибудь болото, заблудится и не найдет дороги; в городе, будучи нелегальным, забудет адрес своей квартиры; при ночной встрече с полицейским на вопрос: кто идет? — по какому-то чудачеству отвечает «черт» и попадает в участок. Соловьев был хорошим человеком, и, если бы сравнение не было избитым, я сказала бы, что он был добр и незлоблив, как ребенок".
Соловьев подкараулил Александра II, когда тот в одиночестве прогуливался у Зимнего дворца. В жизни государя это покушение стало третьим. В 1866-м в него стрелял член ишутинского кружка Дмитрий Каракозов. В мае 1867 года российский император прибыл с официальным визитом во Францию. 25 мая, когда после военного смотра на ипподроме он возвращался в открытой карете с детьми и французским императором Наполеоном III, в районе Булонского леса из ликующей толпы выделился молодой мужчина и дважды выстрелил из пистолета в Александра. Один из офицеров охраны Наполеона III заметил в толпе человека с оружием и оттолкнул его руку, в результате чего пули попали в лошадь.
14 (2) апреля 1879 года Соловьев стрелял в Александра II пять раз, но ни одна пуля не достигла цели. Когда преступнику стало ясно, что арест неизбежен, он принял яд. Врачи смогли его спасти. В журнале «Всемирная иллюстрация» был опубликован отчет об этих событиях: «Государь Император изволил выйти из Зимнего дворца 2-го апреля, в исходе девятого часа утра, на обычную утреннюю прогулку и пошел по Миллионной, мимо Эрмитажа, вокруг здания гвардейского штаба. От угла дворца Его Величество прошел до конца здания штаба 230 шагов, по тротуару, с правой стороны Миллионной и до Зимней канавки; повернув вправо, вокруг того же здания штаба, вдоль набережной Зимней канавки, Государь дошел до Певческого моста, сделав еще 170 шагов. Таким образом Государь Император прошел от угла дворца до певческого моста 400 шагов, на что потребно обыкновенной прогулки около пяти минут. На углу Зимней канавки и площади гвардейского штаба находится будка городового,
Здесь, находясь против четвертого окна штаба, Государь заметил идущего на встречу Ему высокого, худощавого, темноволосого и с темно-русыми усами человека, лет 32, одетого в статское приличное пальто и в фуражку с гражданскою кокардою, причем обе руки этого прохожего были в карманах пальто. Стоявший у ворот здания штаба фельдшер Майман прикрикнул на проходившего, осмелившегося идти прямо на встречу Его Величеству, но тот, не обращая внимания на предостережение, молча прошел дальше в том же направлении».
Революционера, покусившегося на жизнь государя, казнили 28 мая на Смоленском поле на глазах у десятков тысяч людей.