ИИ может понимать действия человека по звуку и данным датчиков движения — исследование

Модели показали неплохие результаты даже без дообучения.

Большие языковые модели могут распознавать действия людей, анализируя данные с микрофонов и датчиков движения, сообщают исследователи Apple. Сотрудники компании протестировали модели Gemini 2.5 Pro и Qwen-32B и пришли к интересным результатам.

В своем исследовании Apple использовала датасет Ego4D, включающий тысячи часов видео, снятых от первого лица. Исследователи выбрали 12 типичных категорий повседневных действий: уборка, готовка, футбол и так далее.

Для анализа нейросетям нарезали 20-секундные фрагменты данных инерциальных сенсоров и соответствующие аудиозаписи. Примечательно, что модели анализировали не «сырые» данные, а текстовые описания, созданные на их базе вспомогательными алгоритмами.

Оказалось, даже без специального дообучения большие языковые модели смогли определять деятельность людей с ненулевой точностью. При добавлении одного примера каждой активности результаты моделей стали еще лучше.

Эксперименты проводились в двух форматах: с заранее известным набором действий и без него. В обоих случаях нейросети оказались способны правильно интерпретировать данные.

В Apple считают, что подобные технологии могут улучшить работу фитнес-функций и систем мониторинга здоровья, особенно в ситуациях, когда обычных данных по какой-либо причине недостаточно.