[Перевод] БЕЗГРАНИЧНОЕ СОКРАТИЧЕСКОЕ ОБУЧЕНИЕ С ПОМОЩЬЮ ЯЗЫКОВЫХ ИГР (перевод статьи Tom Schaul из Google DeepMind)

Tom Schaul, Google DeepMind London, UK tom@deepmind.com

https://arxiv.org/abs/2411.16905

Перевод статьи: БЕЗГРАНИЧНОЕ СОКРАТИЧЕСКОЕ ОБУЧЕНИЕ С ПОМОЩЬЮ ЯЗЫКОВЫХ ИГР

АННОТАЦИЯ

Агент, обученный в замкнутой системе, может освоить любую желаемую способность при соблюдении следующих трех условий: (а) он получает достаточно информативную и согласованную обратную связь, (б) его охват опыта/данных достаточно широк, и (в) он обладает достаточной емкостью и ресурсами. В данной концептуальной статье мы обосновываем эти условия и рассматриваем ограничения, возникающие из-за условий (а) и (б) в замкнутых системах, предполагая, что (в) не является узким местом. Рассматривая особый случай агентов с совпадающими пространствами входных и выходных данных (а именно, язык), мы утверждаем, что такое чистое рекурсивное самосовершенствование, названное "сократическим обучением", может значительно повысить производительность за пределы того, что присутствует в исходных данных или знаниях, и ограничивается только временем, а также проблемами постепенного рассогласования. Кроме того, мы предлагаем конструктивную основу для его реализации, основанную на понятии языковых игр.