Генеративный ИИ и его развитие
Генеративный ИИ может показаться волшебством, но за развитием этих систем стоят целые армии сотрудников из компаний, таких как Google и OpenAI. Эти специалисты, известные как «инженеры запросов» и аналитики, оценивают точность ответов чат-ботов, чтобы улучшить их качество.
Проблемы с точностью Gemini
Недавние внутренние рекомендации, переданные Google подрядчикам, работающим над системой Gemini, вызвали опасения о том, что Gemin может выдавать неточную информацию по чувствительным темам, таким как здравоохранение.
Как оценивают ответы ИИ
Подрядчики, работающие с GlobalLogic (аутсорсинговая компания, принадлежащая Hitachi), регулярно оценивают ответы, сгенерированные ИИ, по таким параметрам, как «правдоподобие».
- Ранее подрядчики могли «пропускать» определенные запросы, если они находились вне их зоны экспертизы.
- Например, они могли пропустить вопрос, касающийся кардиологии, если не имели научной подготовки в этой области.
Новые изменения в правилах
На прошлой неделе GlobalLogic объявила о новых правилах от Google. Теперь подрядчики не могут пропускать запросы, независимо от их квалификации.
- Ранее инструкции гласили: «Если у вас нет критической экспертизы (например, в кодировании или математике) для оценки этого запроса, пожалуйста, пропустите задачу.»
- Теперь же новые инструкции требуют: «Вы не должны пропускать запросы, требующие специализированных знаний.»
Влияние на точность Gemini
Это изменение доставило неблагоприятные последствия для точности Gemini. Подрядчики иногда оценивают высокотехнические ответы по вопросам, связанным с редкими болезнями, в которых у них нет достаточных знаний.
Мнение подрядчиков
Один из подрядчиков заметил в внутренней переписке:
- «Я думал, что цель пропуска в том, чтобы повысить точность, передавая задачи специалистам?»
Ограниченные случаи для пропуска
Теперь подрядчики могут пропускать запросы только в двух случаях:
- Если отсутствует полная информация, такая как полный запрос или ответ.
- Если запрос содержит вредоносный контент, который требует специальных согласований для оценки.
Заключение
Обеспокоенность по поводу точности данных, которые предоставляет Gemini, нарастает. Компьютерные технологии совершенствуются, но важность качественной оценки и проверки информации остается актуальной.