Почему World Model ЛеКуна не спасёт ИИ
После неожиданного развода ЛеКуна и Мета, много говорят, о том, что тупик прогресса LLM будет преодолён через физику мира. То есть, работа нейросети с физическими данными окружающего мира позволит модели обрести смысл и понимание своих действий. У ЛеКуна есть базовая статья, которую никто не будет читать. Поэтому перескажу, как могу. По сути идея заключается в том, что текущая траектория развития LLM обречена. Пока они предсказывают следующий токен, реальное понимание, возникновение реального смысла невозможно. ЛеКун предлагает обучать нейросети на физических данных мира, предполагая, что построение его модели позволит отбрасывать детали и концентрироваться на смысле.
Я согласен с ЛеКуном в том, что использование данных мира позволит частично решить проблему нехватки данных. Но здесь я вижу проблему, которую инженеры, возможно, не понимают. Физическая модель мира фактически гораздо беднее человеческих знаний. Всё бесконечное количество возможных падений описал Ньютон несколькими строчками формул. Сомневаюсь, что Лекун хочет потратить миллиарды долларов на этот замечательный вывод.
Читать далее