Сбер оценит нейросети
Учёные Центра практического искусственного интеллекта Сбербанка представили первую открытую платформу для оценки способностей нейросетей к долгосрочному прогнозированию событий.
Современные ИИ-системы хорошо угадывают только ближайший шаг. Однако реальная ценность для человека и бизнеса, как отмечают исследователи Сбера, кроется в способности заглянуть дальше — предугадать, что произойдёт через неделю или месяц. Раньше у науки не было единого инструмента, чтобы проверить эту способность у разных моделей.
Бенчмарк HoTPP — «измерительная линейка» для долгосрочных прогнозов. Он работает с данными из разных сфер: финансов, электронной коммерции, медицины. Учёные также создали новую метрику T-mAP, которая оценивает точность предсказания одновременно по двум параметрам — типу будущего события и времени его наступления. Это даёт полную картину качества работы модели.
Исследование показало, что сложные нейросетевые архитектуры иногда предсказывают долгосрочные цепочки событий не точнее, чем простые статистические методы. Это указывает на фундаментальные ограничения текущих подходов и необходимость искать новые идеи. Ещё один важный итог — значительное ускорение вычислений. Оптимизация алгоритмов для графических процессоров сделала обучение и работу моделей в десятки раз быстрее.
Андрей Александрович Савченко, научный директор центра практического искусственного интеллекта Сбербанка:
«Прогнозирование событий — одна из ключевых задач искусственного интеллекта. Часто нам нужно предсказать не одно следующее действие, а целую траекторию на долгом горизонте. До сих пор у нас не было адекватных инструментов, чтобы сравнивать разные модели в таком сложном сценарии...Мы надеемся, что наша открытая платформа станет общим стандартом для научного сообщества и поможет быстрее создавать ИИ, который понимает многогранность и неопределённость мира».
Facebook
Вконтакте
Telegram
Twitter
