Профессор решил проверить, насколько студенты доверяют ИИ, Результаты шокируют
Профессор истории Джейсон Гибсон из Университета штата Миссисипи имени Алкорна решил проверить не знания студентов, а их привычку бездумно доверять нейросетям. Результат быстро разлетелся по интернету
Скрытая инструкция для ChatGPT
Историк спрятал в тексте задания невидимую инструкцию. Белым шрифтом на белом фоне он написал просьбу для ChatGPT вставить в ответ бессмысленные фразы про Мадагаскар. Для человеческого глаза этот текст был незаметен.
32 из 35 студентов просто вставили задание в ChatGPT, а затем скопировали ответ, даже не перечитав его. В сочинениях про промышленную революцию внезапно появились фразы вроде: «Мадагаскар плывёт боком через полдень» и «фиолетовый велосипед Мадагаскара шепчет потолку».
Именно эти абсурдные фразы позволили преподавателю понять, кто решил полностью доверить контрольную нейросети.
Скрытые инструкции уже влияют и на работу ИИ
История быстро вышла за пределы университета. Она совпала с другой тенденцией: учёные уже находили похожие скрытые инструкции в научных статьях. Только там авторы пытались влиять не на студентов, а на ИИ, который помогает рецензировать исследования.