Method of Multi-Agent Reinforcement Learning in Systems with a Variable Number of Agents

Abstract

Методы мультиагентного обучения с подкреплением являются одним из новейших и активно развивающихся направлений машинного обучения. Среди методов мультиагентного обучения с подкреплением одним из наиболее перспективных является метод MADDPG, достоинством которого является высокая сходимость процесса обучения. Недостатком метода MADDPG является необходимость обеспечения равенства числа агентов N на стадии обучения и числа агентов K на стадии функционирования. В то же время целевые мультиагентные системы (МАС), такие как группы БПЛА или мобильных наземных роботов, являются системами с переменным числом агентов, что не позволяет применять в них метод MADDPG. Для решения данной проблемы в статье предложен усовершенствованный метод MADDPG для мультиагентного обучения с подкреплением в системах с переменным числом агентов. Усовершенствованный метод MADDPG базируется на гипотезе о том, что для выполнения своих функций агенту нужна информация о состоянии не всех прочих агентов МАС, а только нескольких ближайших соседей. На основе данной гипотезы предложен метод гибридного совместного/независимого обучения МАС с переменным числом агентов, который предполагает обучение некоторого небольшого числа агентов N для обеспечения функционирования произвольного числа агентов K, K > N. Проведенные эксперименты показали, что усовершенствованный метод MADDPG обеспечивает сопоставимую с оригинальным методом эффективность функционирования МАС при варьировании числа K агентов на стадии функционирования в широких пределах.