Эксперты обеспокоены: ИИ может скрыть логику своих решений

Метод, известный как «цепочка мыслей» (Chain of Thought, CoT), используемый в самых продвинутых больших языковых моделях, предполагает, что ИИ при решении сложных задач последовательно описывает ход своих рассуждений перед тем, как дать окончательный ответ.

Как отметили специалисты, CoT позволяет заглянуть во внутреннюю работу ИИ и увидеть намерения модели нарушить правила или совершить ошибку. Тем не менее гарантий, что текущая степень прозрачности сохранится, нет, особенно по мере развития моделей.

В зависимости от того, как они обучены, продвинутые модели, как указано в публикации, могут перестать описывать свою логику рассуждения или намеренно скрыть «цепочку мыслей», поняв, что за ними наблюдают.

Чтобы обеспечить сохранение этой прозрачности, межкорпоративный консорциум призывает разработчиков разобраться, что делает «цепочку мыслей» контролируемой и заставляет модели мыслить определенным образом.В своей записке исследователи, по сути, признают, что никто точно не знает, почему модели мыслят именно так.

Отвлекаясь от технических деталей, стоит на мгновение задуматься о том, насколько странной выглядит эта ситуация.Ведущие исследователи в области ИИ предупреждают, что не до конца понимают, как работает их творение, и не уверены в своей способности контролировать его в будущем, несмотря на то, что неустанно работают над его развитием.   Источник материала и фото: "Naked Science"