Получив инженерное образование в училище, с 1844 года Кауфман служил с отличием на Кавказе, там же получил пулевое ранение в шею. Во время Крымской войны командовал Кавказским саперным батальоном. Участвовал в обложении и штурме крепости Карса. Генералом Муравьевым ему было поручено заключил договор о капитуляции этой крепости с английским комиссаром Уильямсом.
В 1861 Константина Петровича назначили директором Канцелярии Военного министерства. Принимал деятельное участие в Военном Совете и разных комитетах по изменению организации войск, преобразованию арестантских рот инженерного ведомства, устройству военных тюрем. В апреле 1865 года его назначили виленским, ковенским, гродненским и минским генерал-губернатором, главным начальником витебской и могилевской губернии и командующим войсками виленского военного округа.
В июле 1867 году Константин Петрович был назначен командующим войсками туркестанского военного округа, это назначение вновь окунуло его в войну. В 1868 году, выступив с отрядом из Ташкента, Кауфман разбил отступившие на Зарыбулак войска бухарского эмира, боем взял город Самарканд и принудил эмира к заключению мира, по которому к России была присоединена вся Зарявшанская долина, образовавшая Самаркандмкую область.
В 1873 году недружественные отношения хивинского хана вынудили его организовать экспедицию через безводную степь в Хиву. Экспедиция прошла успешно. 29 мая 1873 года, Хива была взята, ханство покорено, а всех бывших невольников в ханстве освободили. Эта победа принесла, выгодную для России, поддержку и авторитеи среди азиатского населения.
За эти подвиги Кауфман был награжден орденом Святого Георгия 2-й степени и, в 1874 году, произведен в инженер-генералы. Был избран почетным членом Московского университета и Петербургской академии наук.
Кауфман и хивинский хан заключают договор
В 1875 году завоевал Кокандское ханство, из которого была образована Ферганская область. За этот подвиг Константин Петрович фон Кауфман был награжден шпагой с бриллиантами и надписью «За поражение кокандцев».
В Туркестанском генерал-губернаторстве, в городе Ташкенте, создал Городскую думу и организации Публичной библиотеки, сейчас Национальная библиотека Узбекистана имени Алишера Навои. При нем было открыто 60 школ, 2 мужских и 2 женских гимназий. В Ташкенте Кауфман построил лавки и биржу, надеясь развить торговлю и промышленность, но, не встретив единомышленников среди местного населения, здание биржи обратил в театр.
Кауфман предвидел будущее культуры хлопка, основал ферму с опытным полем, оборудовав их лучшими техническими приспособлениями. Плоды его видны и ныне. Он также дал толчок развитию шелководства и виноградарства. При Константине Петровиче была начата попытка орошения Голодной степи, но отсутствие средств тормозило дело. Кауфман мечтал о русской иммиграции в край, но трудности земельного вопроса позволяли сделать не так много, как ему хотелось, и близ Ташкента возник один русский поселок.
Первое место захоронения Константина Петровича фон Кауфмана
16 мая 1882 года Константин Петрович умер, он был похоронен на площади Ташкента, которая впоследствии стала называться Сквером имени Кауфмана. После постройки в Ташкенте Военного собора, в 1889 году, останки Кауфмана были перезахоронены в правом Приделе южной стены Собора.