Новое исследование приоткрывает завесу над тем, как большие языковые модели (LLM) с более чем 2 миллиардами параметров развивают в себе нечто, напоминающее «мозговые состояния». Эти математические структуры позволяют искусственному интеллекту различать события, которые могут произойти в реальном мире, от тех, которые являются физически невозможными.
Ученые обнаружили, что в ходе обучения на огромных массивах данных, ИИ-модели формируют внутренние представления, которые ведут себя подобно тому, как человеческий мозг обрабатывает информацию о возможном и невозможном. Эти «состояния мозга» представляют собой специфические паттерны активации нейронной сети, которые коррелируют с пониманием причинно-следственных связей и законов физики.
Исследование подчеркивает, что по мере увеличения масштаба моделей ИИ, они приобретают более глубокое понимание структуры реальности, а не просто запоминают факты. Это открывает новые горизонты для разработки более продвинутых и надежных систем искусственного интеллекта, способных не только генерировать текст, но и осмысленно взаимодействовать с окружающим миром.
