Милорадовичи вели своё происхождение от «сербских графов» Охмукевичей. Их родоначальником был сподвижник трёх королей Сербии (в том числе создателя Сербского царства Душана Сильного) Хрель Охмукевич, живший в первой половине 14-го века. Его потомки упорно сопротивлялись нашествию турок, а после покорения Портой сербских земель переселились в Герцеговину. Там они из Охмукевичей превратились в Храбреновичей, а позднее — в Милорадовичей.
В России первые Милорадовичи, Степан и Богдан, появились при царе Алексее Михайловиче. Они прибыли в Москву в качестве наёмных специалистов по поиску полезных ископаемых. Затем сербы в сопровождении некоего сотника Некрасова и двух стрельцов направились «на Кевроль и на Мезень (поселения на территории современной Архангельской области. — Ред.) отыскивать серебряной и иных всяких руд». Увенчалась ли эта миссия успехом, неизвестно. Не ясна и дальнейшая судьба Степана и Богдана.
Следующий Милорадович приехал в Россию уже по личному приглашению Петра I в 1711 году. Его звали Михаил Ильич. Российский царь поставил перед ним серьёзную задачу: Милорадович должен был отправиться в находящуюся под властью Турции Черногорию и склонить местное население к борьбе против оккупантов, чтобы поддержать русские войска. Посланник Петра успешно выполнил поручение — его усилия привели к началу восстания в Черногории (хотя Прутский поход царя против османов всё равно завершился провалом).
После возвращения в Россию Михаил Ильич получил в качестве награды поместья в Малороссии, а также должность гадяцкого полковника Запорожского войска. Он оказался довольно неприятным руководителем: в дальнейшем его подчинённые не раз жаловались на произвол и вымогательства, но даже гетман не мог найти управу на Милорадовича — тот был назначен самим царём. После смерти Михаила в 1726 году гадяцким полковником стал его брат Гаврило. При нём старые порядки сохранились, но на сей раз жалобы гетману принесли результат — уже спустя пару лет тирана предали суду и выгнали с должности.
Хотя репутация первых Милорадовичей оставляла желать лучшего, в 19-м веке всё изменилось благодаря правнуку Михаила Ильича, сделавшему блестящую карьеру военного. Михаил Андреевич (так звали офицера) участвовал в Русско-шведской войне, Итальянском и Швейцарском походах Суворова и многих других войнах и сражениях. Солдаты боготворили его и увековечили в песнях как «вождя полков и вождя сердец». Его слава достигла апогея после Отечественной войны 1812 года и похода в Европу. В 1813 году за отличия в сражениях указом императора Александра I он был возведён «в графское Российской империи достоинство», а при взятии Парижа 18 марта 1814 года Михаил Андреевич командовал гвардиями всех союзных войск.
В 1818 году Милорадовича назначили военным губернатором Петербурга. Это решение стало для генерала роковым. Во время восстания декабристов 14 декабря 1825 года граф отправился на Сенатскую площадь, надеясь убедить мятежников присягнуть Николаю I. Там ему нанёс смертельное ранение из пистолета декабрист Пётр Каховский. В ночь на 15 декабря Михаил Андреевич умер. Детей у самого графа не было, но род продолжался — поколения Милорадовичей жили в России вплоть до революции 1917 года и Гражданской войны. Затем многие эмигрировали: так, кадет Морского корпуса ВСЮР и армии Врангеля Кирилл Милорадович эвакуировался в Тунис, затем перебрался во Францию.