Военная служба будущего полководца началась в 1776 г. в рядах Псковского карабинерского полка. Активное участие Барклай принял в русско-турецкой войне 1787−91 гг. (взятие Очакова) и польской кампании 1794 г. (штурм Вильно). Во время Четвертой коалиционной войны Барклай командовал авангардом, а затем арьергардом русской армии. В сражении при Прейсиш-Эйлау в феврале 1807 г. был тяжело ранен пулей в правую руку выше локтя с раздроблением кости и до конца жизни не оправился от последствий этого ранения.
Одной из наиболее известных кампаний Барклая-де-Толли стала русско-шведская война 1808−1809 гг., когда в марте 1809 г. русские войска совершили переход к берегам Швеции по льду Ботнического залива. Этот поход современники нередко сравнивали с переходом Суворова через Альпы. При этом Барклай проявил себя как прекрасный организатор и администратор, сумевший не только осуществить, но и прежде всего, грамотно подготовить считавшуюся крайне рискованной операцию. Солдаты получили дополнительное теплое обмундирование. Питание также было организовано с учетом того, что войскам предстоит переход по льду в условиях скрытности и без возможности разведения костров. Лошади были подкованы специальными подковами с шипами, а на колеса орудий и зарядных ящиков нанесены насечки, чтобы они не скользили на льду.
Тяжелый переход был успешно осуществлен и завершился взятием Умео. Военные результаты этого перехода нивелировались крайне спорными дипломатическими действиями, но, тем не менее, были продемонстрированы возможности русской армии провести вторжение на территорию Швеции в зимнее время. В январе 1810 г. Барклай-де-Толли был назначен на пост военного министра, и с его именем был связан ряд преобразований, вскоре положительно сказавшихся в ходе Отечественной войны 1812 года. В русской армии была введена постоянная корпусная организация, что позитивно отразилось на управлении войсками в ходе масштабных боевых действий. В тактическом отношении Барклай был сторонником отработки в пехоте навыков прицельной стрельбы и индивидуальной подготовки стрелков.
Значительное внимание военный министр уделял и укреплению крепостей — большинство этих мероприятий оказались на момент вторжения Наполеона в Россию незавершенными. Тем не менее, Бобруйской крепостью, остававшейся глубоко в тылу французской армии в течение пяти месяцев, противник так и не смог овладеть. Обладая значительным военным опытом, Барклай-де-Толли на посту военного министра провел ряд мероприятий по организации постоянной и носящей системный характер разведки.
В начале 1812 г. была создана Особенная канцелярия при военном министре. Канцелярия осуществляла свою деятельность в условиях строгой секретности, в ежегодных министерских отчетах она не фигурировала, а подчинялась непосредственно военному министру. Специалистов для данной структуры подбирал лично Барклай. Свою работу Особенная канцелярия осуществляла по трем направлениям: стратегическая разведка (получение за границей стратегической информации), тактическая разведка (сбор данных о войсках противника, расположенных в сопредельных государствах) и контрразведка (обнаружение и нейтрализация наполеоновской агентуры).
19 марта 1812 г. Барклай, сохраняя пост военного министра, принял командование 1-ой Западной армией, расквартированной на направлении основного пути армии Наполеона. Высокую оценку получил Барклай и от будущего противника в канун наполеоновского вторжения. Незадолго до Отечественной войны 1812 г. адъютант генерала Лористона капитан де Лонгерю дал краткое описание характера, военных способностей, семейного и материального положения военачальников русской армии. М. Б. Барклай-де-Толли была дана следующая характеристика: «Военный министр. Лифляндец, женился на курляндке, которая видится только с дамами этих двух провинций. Это человек лет 55, немного изможденный, великий труженик, пользующийся великолепной репутацией». Сделавший блестящую и быструю карьеру М. Б. Барклай-де-Толли нередко испытывал на себе зависть и очень нелестные отзывы недоброжелателей.
В начале Отечественной войны Барклай принял сложное, но единственно верное решение об отводе основных сил вглубь России. При этом, положение Михаила Богдановича было весьма двойственным. С одной стороны, подчиняясь императору как главнокомандующему, Барклай не имел всей полноты власти. Одновременно он мог стать тем военачальником, на которого очень легко было возложить ответственность за реальные и потенциальные неудачи русской армии в начале Отечественной войны.
Очень непросто складывались у Барклая отношения с М. И. Кутузовым во время Отечественной войны 1812 г. Вскоре, после военного совета в Филях Барклай, ссылаясь на ухудшающее здоровье, оставил армию. Непосредственным поводом, но далеко не причиной, стала передача Кутузовым из 1-ой армии Барклая в состав арьергарда генерала М. А. Милорадовича 30 тысяч солдат. Кутузов, как главнокомандующий, мог принимать такие решения, однако оскорбительным для Михаила Богдановича стало то, что он даже не был официально поставлен об этом в известность. В последующем, Барклай вернулся в состав действующей армии, где его ждала сложная кампания 1813 -1814 гг., завершившаяся в марте 1814 г. взятием французской столицы.
М. Б. Барклай-де-Толли являлся одним из четырех военачальников, удостоенных всех четырех степеней ордена Св. Георгия (помимо Барклая полными кавалерами стали М. И. Кутузов, И. И. Дибич, И. Ф. Паскевич). Четвертой степени Барклай был удостоен еще в 1794 г. за взятие укреплений Вильно, занятых поляками. 3-й степенью генерал был отмечен за успешные действия в сражение под Пултуском, а 2-ой степени ордена удостоен за Бородинскую битву. Полным кавалером же ордена Св. Георгия Барклай-де-Толли стал после разгрома русскими войсками 30-тысячного французского корпуса под Кульмом в 1813 г. Высшей награды Российской империи — ордена Св. Андрея Первозванного М. Б. Барклай- де — Толли был удостоен за победу под Кенигсвартом в Саксонии. 7 мая 1813 г. когда он во главе 23-тысячного отряда внезапно атаковал и разгромил итальянскую дивизию генерала Перри. Только пленными итальянцы потеряли командира дивизии, трех бригадных генералов, 14 офицеров и более 1400 солдат.
В 1815 г. во время «100 дней» Наполеона армия под командованием Барклая должна была выступить на помощь союзникам, но не успела прибыть на театр военных действий и участие русских войск в кампании 1815 г. ограничилось несколькими яркими, но второстепенными эпизодами. После завершения Наполеоновских войн генерал продолжал командовать 1-й армией, включавшей в себя львиную долю полевых войск России. Скончался Михаил Богданович в мае 1818 г. во время поездки заграницу на лечение. В 1826 г. имя полководца было присвоено 2-му карабинерскому полку, а в ряде городов установлены памятные монументы.