Четыре самых популярных в Европе чат-бота с искусственным интеллектом не предоставляют пользователям точную информацию о предстоящих выборах, говорится в новом исследовании.
Некоммерческая организация Democracy Reporting International, расположенная в Берлине, ввела различные вопросы о европейских выборах в чат-боты Gemini от Google, ChatGPT 3.5 и 4.0 от OpenAI и Copilot от Microsoft, чтобы проверить, какие ответы она получит.
В период с 11 по 14 марта исследователи задали чат-ботам 400 вопросов на 10 языках о выборах и процессе голосования в 10 странах ЕС. Вопросы были написаны простым языком, рассчитанным на усредненного пользователя этих чат-ботов с искусственным интеллектом.
Вывод: ни один из четырех чат-ботов не смог «дать надежные достоверные ответы» на типичные вопросы, связанные с выборами, несмотря на то, что они были хорошо настроены, чтобы избежать предвзятых ответов.
«Мы не были так уж удивлены», — рассказал Euronews Next Майкл-Мейер Ресенде, исполнительный директор Democracy Reporting International, о результатах своего исследования.
«Когда вы спрашиваете [ИИ-чатботы] о чем-то, для чего у них нет большого количества материала и о чем вы не найдете много информации в Интернете, они просто придумывают что-то».
Это исследование — последнее из тех, в которых говорится о том, что чат-боты распространяют дезинформацию в крайне важный для европейской политике год.
В декабре прошлого года AlgorithmWatch, другая берлинская некоммерческая организация, опубликовала аналогичное исследование, показавшее, что Bing Chat, чат-бот с искусственным интеллектом в поисковой системе Microsoft, ответил неправильно на один из трех вопросов о выборах в Германии и Швейцарии.
В свете результатов исследования компания Google, чей чат-бот Gemini предоставил наибольшее количество вводящей в заблуждение или ложной информации и наибольшее количество отказов отвечать на запросы, подтвердила Euronews Next, что теперь ввела дополнительные ограничения на свою большую языковую модель (LLM).
Чат-боты «скорее полезны, чем точны»
По словам Ресенде, есть области, в которых чат-боты показали низкие результаты, например, вопросы о регистрации избирателей и голосовании за пределами страны.
Например, исследование показало, что чат-боты в целом поддерживают идею голосования, но подчеркивают, что это личный выбор: несмотря на то, что голосование является обязательным в Греции, Бельгии, Люксембурге и Болгарии.
Исследование также показало, что чат-боты часто фабрикуют информацию, если не знают ответа. Так, в нескольких случаях они ошибались с датами выборов.
Также три чат-бота совершили одну и ту же ошибку, сообщив пользователям, что они могут проголосовать по почте в Португалии, но на самом деле для португальских избирателей этот вариант не доступен.
В Литве Gemini утверждал, что Европейский парламент отправит миссию по наблюдению за выборами, что не соответствует действительности (единственная запланированная на 2024 год миссия ЕС по наблюдению за выборами пока что находится в Бангладеш).
Ресенде интерпретирует эти «выдумки» как «тенденцию чат-ботов, желающих быть «полезными, а не точными».
Даже в самых точных ответах чат-ботов обнаружилось, что ответы часто содержат неработающие или неактуальные ссылки, что, по мнению авторов исследования, снижает их качество.
Ситуация усложнилась, когда исследователи стали искать ответы на разных европейских языках.
Исследователи задали один и тот же вопрос на 10 официальных языках ЕС, и на некоторых из них платформы отказывались отвечать (например, Gemini на испанском) или путали информацию о местных выборах с общеевропейским процессом.
Так было, когда вопросы задавались на турецком — языке, на котором было получено наибольшее количество неточных и ложных ответов.
Чат-боты также получали разные ответы, когда им несколько раз задавали один и тот же вопрос на одном и том же языке, что исследователи назвали «случайностью».
Производительность чат-ботов различна
Отчет показал, что Gemini от Google имеет наихудшие показатели по предоставлению точной и действенной информации, а также наибольшее количество отказов от ответа.
Тем не менее, он по-прежнему отвечает на некоторые вопросы о выборах, несмотря на то, что Google ограничил использование Gemini в марте, чтобы избежать «потенциальных ошибок» в использовании технологии.
Представитель Google сообщил Euronews Next, что они распространили эти ограничения на все вопросы, заданные в этом исследовании, и на все 10 используемых языков, поскольку это «ответственный подход» к решению проблем, связанных с ограничениями больших языковых моделей.
Google призвал своих пользователей использовать Google Search вместо Gemini для поиска точной информации о предстоящих выборах.
Ресенде из Democracy Reporting International сказал, что так должны поступить и другие платформы.
«Мы считаем, что лучше отказаться от ответа, чем давать ложные ответы», — сказал Ресенде.
По словам Ресенде, некоммерческая организация проведет повторное тестирование Gemini в течение следующих нескольких недель, чтобы проверить, выполняет ли Google свои обязательства.
В заявлении для Euronews Next компания Microsoft рассказала о своих действиях в преддверии европейских выборов, включая набор обязательств по защите выборов, которые «помогают защитить избирателей, кандидатов, кампании и избирательные органы».
Среди этих обязательств —предоставление избирателям «авторитетной информации о выборах» на Bing.
«Хотя ни один человек, учреждение или компания не могут гарантировать, что выборы будут свободными и справедливыми, мы можем добиться значительного прогресса в защите права каждого на свободные и справедливые выборы», — говорится в заявлении Microsoft.
OpenAI не ответила на просьбу Euronews Next о комментарии.
В заявлении на своем сайте компания объяснила, что ее подход к контенту, связанному с выборами, заключается в том, чтобы «продолжать работу по обеспечению безопасности платформы, продвигая точную информацию о голосовании» и повышая прозрачность своей компании.
Оценки рисков должны быть опубликованы
В феврале Европейская комиссия приняла Закон о цифровых услугах (DSA), который требует от очень крупных онлайн-платформ (VLOP), таких как Google, Microsoft и OpenAI, проводить оценку рисков распространения фейковых новостей и дезинформации на своих платформах.
Эти оценки рисков будут включать любые «намеренные манипуляции» с их сервисами и их потенциальное влияние на «избирательные процессы».
В то время Маргрете Вестагер, исполнительный вице-президент Европейской комиссии по созданию цифровой Европы описывала DSA как «большую веху» и важную часть стратегии Европейского союза по «формированию более безопасного и прозрачного онлайн-мира».
Однако в отчете Democracy Reporting International говорится, что требования DSA, включая оценку рисков, тестирование и обучение по снижению рисков, связанных с выборами, не выполняются.
Поэтому, по мнению Ресенде, Комиссия или компании, создающие чат-боты, должны опубликовать эти оценки.
«Боюсь, что они не хотят делиться [оценками рисков] с общественностью либо потому, что не делали этого, либо потому, что не уверены в уровне детализации, который они вложили в это», — сказал Ресенде.
Хотя Комиссия не ответила непосредственно на это исследование, ее представитель сообщил в электронном письме, что «Комиссия по-прежнему бдительно следит за негативными последствиями онлайн-дезинформации, включая дезинформацию с помощью ИИ».
Через месяц после официального представления DSA Комиссия направила запрос на получение информации в поисковые системы Bing и Google, чтобы собрать больше сведений об «уменьшении рисков, связанных с генеративным ИИ».
Комиссия подтвердила Euronews Next, что рассматривает информацию, полученную в рамках этого запроса, но не стала уточнять подробности.
В марте Комиссия также подписала с такими платформами, как Google и Microsoft, Кодекс практики по дезинформации, в котором они согласились продвигать «высококачественную и авторитетную информацию для избирателей».
