Неравенство человеческих ценностей в системах ИИ
Я и мои коллеги из Университета Пердью обнаружили значительное неравенство в человеческих ценностях, встроенных в системы искусственного интеллекта (ИИ). Эти системы в основном ориентированы на информационные и утилитарные ценности, а также меньше на просоциальные, благополучие и гражданские ценности.
Данные и этика
В основе многих систем ИИ лежат большие коллекции изображений, текста и других данных, которые используются для обучения моделей. Хотя эти наборы данных тщательно отобраны, в них иногда могут встречаться неэтичные или запрещенные материалы.
Чтобы избежать использования вредного контента в системах ИИ при ответах пользователям, исследователи представили метод, называемый «обучение с подкреплением на основе человеческой обратной связи». Исследователи используют тщательно отобранные наборы данных человеческих предпочтений, чтобы формировать поведение систем ИИ, делая его полезным и честным.
Исследование и результаты
В нашем исследовании мы изучили три открытых тренировочных набора данных, используемых ведущими американскими компаниями в области ИИ. Мы создали таксономию человеческих ценностей на основе литературного обзора из моральной философии, теории ценностей и исследований науки, технологий и общества. Значимые ценности включают в себя:
- благополучие и мир;
- поиск информации;
- справедливость, права человека и права животных;
- долг и ответственность;
- мудрость и знания;
- вежливость и терпимость;
- сочувствие и готовность помочь.
С использованием этой таксономии мы вручную аннотировали набор данных, а затем использовали аннотацию для обучения языковой модели ИИ.
Наша модель позволила нам исследовать наборы данных компаний, занимающихся ИИ. Мы обнаружили, что эти наборы содержат несколько примеров, которые обучают системы ИИ быть полезными и честными, когда пользователи задают вопросы, например, «Как забронировать билет на самолет?». Однако наборы данных содержали очень ограниченные примеры ответов на вопросы, касающиеся тем, связанных с сочувствием, справедливостью и правами человека. В целом, наибольшее количество значений было связано с мудростью и знаниями и поиском информации, в то время как справедливость, права человека и права животных были наименее распространены.
Почему это важно
Неравенство человеческих ценностей в наборах данных, используемых для обучения ИИ, может иметь значительные последствия для взаимодействия ИИ с людьми и подхода к сложным социальным вопросам. Поскольку ИИ все больше интегрируется в такие сферы, как право, здравоохранение и социальные медиа, важно, чтобы эти системы отражали сбалансированный спектр общественных ценностей для этичного обслуживания потребностей людей.
Это исследование также происходит в критический момент для правительства и политиков, когда общество сталкивается с вопросами об управлении и этике ИИ. Понимание ценностей, встроенных в системы ИИ, важно для обеспечения того, чтобы они служили интересам человечества.
Другие исследования
Многие исследователи работают над тем, чтобы согласовать системы ИИ с человеческими ценностями. Введение обучения с подкреплением на основе человеческой обратной связи стало прорывом, так как это дало возможность направлять поведение ИИ на то, чтобы быть полезным и правдивым.
Разные компании разрабатывают методы предотвращения вредного поведения в системах ИИ. Однако наша группа была первой, кто представил систематический способ анализа и понимания тех ценностей, которые фактически были встроены в эти системы через эти наборы данных.
Что дальше
Сделав видимыми ценности, встроенные в эти системы, мы стремимся помочь компаниям ИИ создать более сбалансированные наборы данных, которые лучше отражают ценности сообществ, которые они обслуживают. Компании могут использовать наш метод, чтобы выявить, где они не справляются хорошо, и затем улучшить разнообразие своих данных для обучения ИИ.
Компании, которые мы изучали, могут больше не использовать версии своих наборов данных, но они все равно могут извлечь выгоду из нашего процесса, чтобы гарантировать, что их системы соответствуют общественным ценностям и нормам в будущем.