К 716 году Карл уже два года как пребывал в тюрьме и ждал первую возможность для освобождения. Она подвернулась, когда во Франкском государстве началась смута. Карл воспользовался моментом, собрал армию и начал выступления против войск короля фризов Радбода, затем против майорда Нейстрии Рагенфреда, и, наконец, против короля франков Хильперика II. Первого одолеть ему не удалось, а вот армии последних были уверено побеждены. Таким образом Карл обеспечил себе эффектное возвращение и напомнил о своих великих намерениях. В 717 году Карл стал майордом франков.
В последующие годы Карл продолжал завоевывать северные земли и укреплять свое влияние. Так, в 721 году Эд Великий, герцог Аквитании, остановил сопротивление и принял предложение Карла о мире. Несмотря на быстро распространившееся влияние, Карлу не были подвластны некоторые земли: автономию сохраняли Бавария, Алеманния, Тюрингия, также не подчинились Южная Галия и Бургундия.
За верную службу в своем войске Карл давал секуляризованные и конфискованные земли. Земля служила не только благодарностью — ее использовали и как вспомогательный ресурс для подготовки к сражениям. Так Карл Мартелл проводил Бенефициарную реформу. Бенефицием называли пожалование в виде земли, которую предоставляли в условное пользование за выполнение службы.
В 720−730 годы Карл Мартелл провел несколько войн с германцами. В результате успешных сражений к Франкскому государству были присоединены новые земли, где сразу же начался процесс христианизации населения.
С 731 года Карл Мартелл начал длительную и тяжелую борьбу с арабами. Против него выступал Абд-ар-Рахман, желавший захватить земли франков. Апогеем противостояния стала битва при Пуатье, в которой армия франков разгромила противника. Победа в этой битве существенно усилила власть Карла Мартелла. Править ему предстояло еще десять лет.