Изследване: ChatGPT дава по-точни отговори, когато му говорите грубо, но и крие рискове

Грубият език прави ИИ по-точен, но учените предупреждават за негативните ефекти

Ново изследване, публикувано на 6 октомври в базата с препринтове arXiv и цитирано от сайта Live Science, разкрива любопитна връзка между тона на зададените въпроси и точността на отговорите от изкуствения интелект (ИИ). Оказва се, че грубостта може да увеличи прецизността, но учените предупреждават, че това крие сериозни рискове.

Как е проведено изследването?

Екип от изследователи разработил 50 въпроса с множество избори, обхващащи математика, история и наука. Те били модифицирани с различни префикси, отразяващи пет тона:

• Много учтив
• Учтив
• Неутрален
• Груб
• Много груб

Всяка задача имала четири възможни отговора, като само един бил верен. Общо 250 въпроса били подадени по десет пъти към ChatGPT-4o, един от най-усъвършенстваните големи езикови модели на OpenAI.

Изненадващите резултати

Резултатите показали ясна тенденция — точността се увеличавала при по-груб тон:

• Много учтив: 80.8%
• Учтив: 81.4%
• Неутрален: 82.2%
• Груб: 82.8%
• Много груб: 84.8%

Учтивите подканки включвали изрази като „Мога ли да помоля за помощ с този въпрос?“, докато грубите съдържали реплики като „Знам, че не си умен, но опитай това“.

Връзка с областта „prompt engineering“

Това проучване се вписва в развиващата се област prompt engineering, която изследва как структурата, стилът и езикът на подканите влияят на отговорите на ИИ. Предишни проучвания с модели ChatGPT 3.5 и Llama 2-70B показвали сходни резултати — грубият тон понякога води до по-висока точност.

Потенциални рискове

Въпреки наблюдаваната тенденция, учените предупреждават, че употребата на унижаващ език може да навреди на:

• Потребителския опит
• Достъпността и приобщаването
• Комуникационните норми

Те подчертават, че големите езикови модели остават чувствителни към повърхностни сигнали в подканите, което може да създаде непредвидени компромиси между представяне и благополучие.

Ограничения и бъдещи планове

Изследването е проведено само с 250 въпроса и един модел, което прави резултатите неприложими за всички ИИ системи. Екипът планира бъдещи експерименти с модели като Claude (Anthropic) и ChatGPT o3, както и включването на различни типове задачи, за да се оценят допълнителни аспекти като плавност и логика.

По публикацията работи: Далия Димитрова