| Название НИОКТР |
Разработка новых архитектур и подходов для снижения стоимости обучения, применения и повышения эффективности адаптации больших фундаментальных моделей
|
| Аннотация |
Современная область развития искусственного интеллекта характеризуется конкуренцией по крайней мере двух подходов к достижению общего (или сильного) искусственного интеллекта (т.н. AGI, такой системы ИИ, которая способна решать широкий спектр прикладных профессиональных задач на уровне человека или выше). Первый подход опирается на разработку единых мультимодальных фундаментальных моделей все большего масштаба. Второй – на построение мультиагентных систем на основе специализированных адаптированных моделей-экспертов меньшего размера и созданием эффективных механизмов их оркестрации.
Первый подход к достижению AGI базируется на гипотезе о том, что интеллект возникает как эмерджентное свойство при масштабировании единой модели до достаточно больших размеров. Эта парадигма предполагает постоянное увеличение количества параметров, объема обучающих данных и вычислительных мощностей для обучения всё более крупных моделей [Ibrahim Alabdulmohsin et al. 2022] Однако данная парадигма масштабирования, по-видимому, имеет теоретический предел: в виде исчерпания данных для предварительного обучения (т.н. претрейна). Согласно исследованиям, общий объем созданных человеком текстовых данных ограничен примерно 300 триллионами токенов, и этот ресурс может быть полностью исчерпан уже к 2032 году [Pablo Villalobos et al. 2024]. В качестве ответа на данный вызов ведутся активные разработки в сфере создания синтетических датасетов для их применения в целях обучения больших фундаментальных моделях. Однако, эффект от применения синтетических данных еще недостаточно изучен, и на данный момент есть лишь ограниченный набор доменов, где было продемонстрировано, что использование синтетических данных достоверно улучшает возможности БФМ (например, в таких областях, как математика и программирование). Существует риск того, что принципиально «новой информации» для обучения моделей в таких данных содержаться не будет. Подход, связанный с созданием моделей все большего масштаба, в силу требующегося огромного объема ресурсов, применим на практике, скорее, среди крупных технологических компаний, а на стороне академической науки прорыв в данном направлении возможен с точки зрения оптимизации алгоритмов обучения и инференса таких моделей.
Второй подход для достижения AGI - создание мультиагентных систем из нескольких специализированных моделей с оркестрацией их совместной работы. Эта парадигма предполагает, что вместо создания единой масштабной модели, видится перспективным создавать экосистему взаимодействующих агентов, каждый из которых специализируется в определённой области. В роли ИИ-агентов могут выступать модели ИИ, программное обеспечение и другие инструменты. Их совместное применение позволит решать гораздо более сложные задачи на уровне не ниже человека. Мультиагентные системы могут включать многократный обмен запросами между отдельными моделями с возможностью дальнейшего обработки и отбора наилучшего ответа (схемы вида «actor-critic», «reflexion» [Noah Shinn at al. 2023] и др.), который в итоге отправляются пользователю. Исследования показывают, что за счет создания подобных сложных цепочек вызовов даже модели меньшего масштаба могут давать лучшие ответы по сравнению с одной большой моделью, вызванной однократно [Runze Liu et. al. 2025]. Например, в работе "Can 1B LLM Surpass 405B LLM?" демонстрируется, как относительно небольшая модель в 1 миллиард параметров в определенных условиях способна превзойти по качеству решений модель с 405 миллиардами параметров. Google Research разработал систему "AI co-scientist" - мультиагентную архитектуру, основанную на модели Gemini 2.0, где специализированные агенты выполняют конкретные функции: генерация гипотез, рефлексия и проверка, ранжирование, эволюция и метаобзор [Juraj Gottweis et al. 2025].
Ключевым барьером для масштабирования мультиагентных систем для применения в повседневной жизни является высокая стоимость инференса данных систем. По аналогии с моделями, использующими длинные цепочки рассуждений, число генерируемых токенов кратно растет в случае обмена большим количеством вспомогательных запросов (как, например, в бенчмарке ARC-AGI с лучшим результатом от модели o3, где стоимость решения одной задачи могла достигать $1 тыс.) .
Снятие подобных барьеров имеет потенциал сушественно повысить доступность искусственного интеллекта в целях его использования в повседневной жизни. Ключевым способом преодоления данного барьера является развитие направлений исследований, связанных с разработкой методов сокращения стоимости инференса.
Данный подход является перспективной точкой приложения усилий академической науки и станет основой для Программы Центра ИИ НИУ ВШЭ
Цель реализации Программы Центра ИИ НИУ ВШЭ – создание новых архитектур и подходов для снижения стоимости обучения, инференса, а также для повышения эффективности адаптации больших фундаментальных моделей.
Разработанные подходы позволят создать инновационные программные решения на базе адаптированных больших фундаментальных моделей для финансового сектора, сферы науки и образования, сектора информационно-коммуникационных технологий в части информационной безопасности, а также для задач анализа рынка труда, которые повысят доступность ИИ для использования в повседневной жизни.
Основными направлениями научных исследований и разработок Центра ИИ НИУ ВШЭ в соответствии с Перечнем направлений научных исследований и приоритетных исследовательских задач для формирования Программы Центра 3-й волны являются:
1. «Архитектуры, алгоритмы Машинного Обучения (МО), оптимизация и математика»
2. «Фундаментальные и генеративные модели»
Дополнительными (вспомогательными) направлениями научных исследований и разработок Центра ИИ НИУ ВШЭ являются:
3. «Безопасность, доверие и объяснимость»
4. «Управление, решения, агентные/мультиагентные системы»
|
| Доступ к ОКОГУ исполнителя |
True
|
| Количество связанных РИД |
11
|
| Количество завершенных ИКРБС |
0
|
| Сумма бюджета |
676300.813
|
| Дата начала |
2025-06-09
|
| Дата окончания |
2026-12-31
|
| Номер контракта |
139-15-2025-009
|
| Дата контракта |
2025-06-23
|
| Количество отчетов |
32
|
| УДК |
004.8
|
| Количество просмотров |
31
|
| Руководитель работы |
Наумов Алексей Александрович
|
| Руководитель организации |
Соколов Игорь Владимирович
|
| Исполнитель |
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
|
| Заказчик |
МИНИСТЕРСТВО ЭКОНОМИЧЕСКОГО РАЗВИТИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
|
| Федеральная программа |
Отсутствует
|
| Госпрограмма |
—
|
| Основание НИОКТР |
Грант
|
| Последний статус |
2025-08-04 12:14:01 UTC, 2025-08-04 12:14:01 UTC
|
| ОКПД |
Услуги, связанные с научными исследованиями и экспериментальными разработками в области компьютерных наук и информационных технологий
|
| Отраслевой сегмент |
—
|
| Минздрав |
—
|
| Межгосударственная целевая программа |
—
|
| Ключевые слова |
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ; ИННОВАЦИОННОЕ ПРОГРАММНОЕ РЕШЕНИЕ; ФУНДАМЕНТАЛЬНЫЕ И ГЕНЕРАТИВНЫЕ МОДЕЛИ; АГЕНТНЫЕ/МУЛЬТИАГЕНТНЫЕ СИСТЕМЫ; АЛГОРИТМЫ МАШИННОГО ОБУЧЕНИЯ; ГЕНЕРАТИВНЫЙ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ; БОЛЬШАЯ ЯЗЫКОВАЯ МОДЕЛЬ
|
| Соисполнители |
—
|
| Типы НИОКТР |
Разработка новых материалов, научно-методических материалов, продуктов, процессов, программ, устройств, типов, элементов, услуг, систем, методов, методик, рекомендаций, предложений, прогнозов; Разработка нормативных и (или) нормативно-технических документов
|
| Приоритетные направления |
—
|
| Критические технологии |
—
|
| Рубрикатор |
28.23.01 - Общие вопросы искусственного интеллекта; 28.23.25 - Модели и системы обучения; 28.23.02 - Общие проблемы искусственного интеллекта; 28.23.23 - Модели когнитивной психологии
|
| OECD |
—
|
| OESR |
Компьютерные, информационные науки и биоинформатика (разработка аппаратного обеспечения относится к разделу 2.2, социальный аспект относится к разделу 5.8); Информатика – архитектура и аппаратное обеспечение
|
| Приоритеты научно-технического развития |
а) переход к передовым технологиям проектирования и создания высокотехнологичной продукции, основанным на применении интеллектуальных производственных решений, роботизированных и высокопроизводительных вычислительных систем, новых материалов и химических соединений, результатов обработки больших объемов данных, технологий машинного обучения и искусственного интеллекта;
|
| Регистрационные номера |
ikrbs: {'card_list': [{'id': 'WB2KSBS0B9N0IK2IVM5NO6ZG'}]}; ikrbs: {'card_list': [{'id': 'YCFRO2U58VQ6RNT2YUYN54O2'}]}; ikrbs: {'card_list': [{'id': 'YR584U5JW0XX3UGJSFYMEL1M'}]}; ikrbs: {'card_list': [{'id': 'BZZ8IDTGLMLC1XA6HF7NPHAC'}]}; ikrbs: {'card_list': [{'id': 'PL4PWWMLQDYTO21G25QEJZHK'}]}; ikrbs: {'card_list': [{'id': 'N0VTTEATV2EL9FDS036MMZ53'}]}; ikrbs: {'card_list': [{'id': 'SRFYYRCQ1POM4HZK69L4NIMR'}]}; ikrbs: {'card_list': [{'id': 'W9YQOM0VS07UENUN418RODO7'}]}; ikrbs: {'card_list': [{'id': '5G71URS78KIAOVXL44T09MNU'}]}; ikrbs: {'card_list': [{'id': 'FM1C1YJX4N0K24DDYK1RT7VJ'}]}; ikrbs: {'card_list': [{'id': 'DVQ4MS2WHX9H68E6DP93QKAL'}]}; ikrbs: {'card_list': [{'id': 'B3B15L7TS29CEE66UJ1CX9MO'}]}; ikrbs: {'card_list': [{'id': 'T9FKDV4DKPTL4M0B05XDLDCY'}]}; ikrbs: {'card_list': [{'id': 'PPP4HDXTWYI0QGA4JL8K482J'}]}; ikrbs: {'card_list': [{'id': 'H7N9S00543NSB13XJ42ID5VT'}]}; nioktr: {'id': '1T56X7ZAA7QTN25S4RJXP2UK'}; nioktr: {'id': 'GJPG54ZT26J7RALB2IRQI6UH'}; nioktr: {'id': '8UDOM1AA5TK6VJUHAF6JNOMJ'}; nioktr: {'id': 'TICE5MDUWGWF3OQWOH7BJFLT'}; nioktr: {'id': 'RZCAPP5UEV3SUUATYN83JQGF'}; nioktr: {'id': 'PXZ3BFWQMFI7WA3Q5426QYSC'}; nioktr: {'id': 'LUJ8TA1Q4QKBNJJCGV0UC50A'}; nioktr: {'id': '9F2ZA9GI9I3ORYDP4QJFBQ46'}; nioktr: {'id': 'T3M349NVOKR1I7QIRZVB63Z9'}; nioktr: {'id': 'TA0MPF91RHNBOJN3N9G1740O'}; nioktr: {'id': 'CH9KKT0XDHF5M0HQNGRFI84E'}
|
