Изъ Малороссійскихъ казаковъ Румянцевъ образовалъ 7 регулярныхъ полковъ Малороссійской конницы, которые Потемкинъ въ 1784 году преобразовалъ въ карабинеровъ; изъ трехъ охочеконныхъ полковъ Румянцевъ сформировалъ три легкоконныхъ полка, которые впослѣдствіи Потемкинымъ тоже были обращены въ карабинерные. Поселеннымъ коннымъ полкамъ Румянцевъ въ 1776 году придалъ болѣе прочную организацію и образовалъ Украинскую и Екатеринославскую конницы, предназначенныя для охраны нашихъ южныхъ границъ и составившія къ 1784 году достаточно подготовленный и надежный элементъ, которымъ весьма удачно воспользовался Потемкинъ для сформированія 15 легкоконныхъ полковъ.
Въ артиллеріи Румянцеву принадлежитъ идея уменьшенія калибровъ и устройства постоянныхъ батарей.
Развивая свои идеи относительно постоянныхъ высшихъ тактическихъ соединеній, Румянцевъ впервые высказываетъ мысль о формированіи постоянныхъ армій, сообразно съ особенностями пограничнаго театра военныхъ дѣйствій и вѣроятныхъ противниковъ, въ связи съ чѣмъ должна была быть установлена и дислокація арміи въ мирное время.
Въ бытность Румянцева Малороссійскимъ генералъ-губернаторомъ населеніе Малороссіи было привлечено для отбыванія воинской повинности, чѣмъ, съ одной стороны, увеличивался источникъ комплектованія арміи, а, съ другой стороны, воинская повинность распредѣлялась болѣе равномѣрно между жителями государства. Не безъ участія Румянцева окончательно былъ введенъ 25-лѣтній срокъ службы для нижнихъ чиновъ.
Съ 1777 года Румянцевъ настаивалъ на устройствѣ постоянныхъ округовъ комплектованія, т.-е. на принятіи у насъ территоріальной системы комплектованія, что, впрочемъ, не было проведено въ жизнь, и на томъ, чтобы каждый родъ войскъ комплектовался изъ населенія, способнаго по своимъ прирожденнымъ свойствамъ къ спеціальной службѣ. Въ этомъ отношеніи кое-что было достигнуто, такъ какъ конница преимущественно комплектовалась изъ южныхъ областей и частью изъ Бѣлоруссіи, а лѣсники Польши пополняли егерскія войска. Особое вниманіе Румянцевъ всегда обращалъ на боевую подготовку войскъ. Съ этой точки зрѣнія прежде всего необходимо отмѣтить изданіе имъ такъ называемаго «Обряда службы».
«Обрядъ службы» былъ изданъ Румянцевымъ въ 1770 году для того, чтобы сравнять чрезвычайно разнообразную подготовку полковъ, вошедшихъ въ составъ его арміи. Онъ являлся съ одной стороны дополненіемъ и исправленіемъ дѣйствующихъ тогда уставовъ, а съ другой стороны — мѣрой для объединенія многочисленныхъ инструкцій, изданныхъ въ то время различными начальниками.