В прошлом году на тихих дорогах Монмут-Каунти, штат Нью-Джерси, появился странный беспилотный автомобиль. Экспериментальный аппарат, разработанный Nvidia, внешне не отличался от других автономных автомобилей, но тем не менее не был похож на то, что продемонстрировали Google, Tesla или General Motors
Автомобиль не выполнял инструкции инженеров или программистов. Вместо этого он полностью полагался на алгоритм, который учился водить, наблюдая, как человек делает это.
Научить автомобиль вести себя подобным образом было внушительным достижением. Однако тревогу вызывает то, что непонятно машина принимает решения. Информация от датчиков автомобиля поступает прямо в огромную сеть искусственных нейронов, которые обрабатывают данные, а затем доставляют команды, необходимые для управления рулевым колесом, тормозами и другими системами. Результат, кажется, соответствует реакциям, которые вы ожидаете от человека-водителя. Но что, если однажды он сделает что-то неожиданное, например, врежется в дерево или заглохнет на зелёном? На данный момент трудно будет понять почему. Система настолько сложна, что даже инженеры, разработавшие её, испытывают сложности в установлении причин отдельных действий. И вы не можете спросить её: нет очевидного способа создать такую систему, чтобы она всегда могла объяснить, почему она сделала то, что она сделала.
Таинственный ум этого автомобиля свидетельствует о надвигающейся проблеме. Базирующаяся в автомобиле технология искусственного интеллекта, известная как глубокое обучение, оказалась очень эффективной при решении проблем за последние годы, и она широко применяется для таких задач, как распознавание изображений, голоса и языковой перевод. Сейчас есть надежда, что такие же методы смогут диагностировать смертельные болезни, принимать решения в торговле на миллионы долларов и делать бесчисленное множество других вещей для преобразования целых отраслей.
Но этого не произойдёт — или не должно произойти — если мы не найдём способы сделать такие методы, как глубокое обучение, более понятными их создателям и подотчётными пользователям. В противном случае будет трудно предсказать, когда могут произойти сбои, а они неизбежны. Это одна из причин, по которой автомобиль Nvidia все ещё экспериментален.
Уже сейчас математические модели используются для определения того, кто заслуживает условно-досрочного освобождения, кто достоин получения кредита, а кого следует взять на работу. Если бы вы могли получить доступ к этим математическим моделям, можно было бы понять их рассуждения. Но банки, военные, работодатели и другие теперь обращают внимание на более сложные подходы, которые могут сделать автоматизированное принятие решений совершенно непостижимым. Глубокое обучение — наиболее распространённый из этих подходов, представляет собой принципиально иной путь программирования компьютеров. «Эта проблема уже актуальна, и в будущем она будет гораздо более актуальной», — говорит Томми Яаккола, профессор Массачусетского технологического института, который работает над приложениями машинного обучения. «Неважно инвестиционное ли это решение, медицинское или, возможно, военное, вы не захотите просто полагаться на метод из «чёрного ящика».
Уже существует аргумент по поводу того, что возможность допросить систему ИИ о том, как она пришла к своим выводам, является фундаментальным юридическим правом. Начиная с лета 2018 года, Европейский Союз может потребовать, чтобы компании давали пользователям объяснения решений, которые принимают автоматизированные системы. Это может быть невозможно даже для систем, которые кажутся относительно простыми, таких как приложения и веб-сайты, которые используют глубокое обучение для показа рекламы или рекомендации песен. Компьютеры, которые запускают эти службы, запрограммированы сами собой, и они делают это так, что мы не можем понять. Даже инженеры, которые строят эти приложения, не могут полностью объяснить их поведение.
Это поднимает ошеломляющие вопросы. По мере развития технологии, мы, возможно, вскоре пересечём некоторый порог, за которым использование ИИ потребует большего доверия. Конечно, мы, люди, не всегда можем по-настоящему объяснить наши мыслительные процессы — но мы находим способы интуитивно доверять и оценивать поведение других людей. Будет ли это также возможно с машинами, которые думают и принимают решения иначе, чем мы? Человечество никогда раньше не строило машины, которые принимают решения неведомым даже их создателям образом. Насколько мы можем доверять разумным машинам, которые могут быть непредсказуемыми и непостижимыми? Эти вопросы отправили меня в путешествие к самому передовому краю исследований в области алгоритмов искусственного интеллекта, в ходе которых я посетит Google, Apple и многие другие места, а также встретился с одним из великих философов нашего времени.
В 2015 году исследовательская группа в больнице Маунт Синай в Нью-Йорке решила применять глубокое обучение в обширной базе данных больницы о пациентах. Этот набор данных содержит сотни переменных, взятых из результатов тестирования, визитов к врачу и т. д. Полученная в результате программа, которую исследователи назвали Deep Patient, была обучена с использованием данных примерно 700 000 человек, а при тестировании на новых данных она оказалась невероятно хороша при прогнозировании болезни. Без какой-либо экспертной инструкции Deep Patient обнаружил шаблоны, скрытые в больничных данных, которые указывали на то, что люди находились на пути к широкому спектру заболеваний, включая рак печени. «Существует много замечательных методов прогнозирования заболеваний на основе записей пациента», — говорит Джоэл Дадли, возглавляющий команду Маунт Синай. Но, добавляет он, «Deep Patient просто потрясающ».
В то же время Deep Patient немного озадачивает. Похоже, что он на удивление хорошо обнаруживает зарождение психических расстройств, таких как шизофрения. Но поскольку шизофрения, как известно, трудно поддаётся предсказанию для медиков, Дадли задался вопросом как это возможно. Он все ещё не знает. Новый инструмент не даёт представления о том, как он это делает. Если что-то вроде Deep Patient на самом деле собирается помочь врачам, в идеале он должен объяснить свой прогноз, дабы убедить их в том, что он является точным и оправдать, скажем, изменение в лекарствах, которые будут назначены. «Мы можем построить эти модели, — печально говорит Дадли, — но мы не знаем, как они работают».
Искусственный интеллект не всегда был таким. С самого начала были две мыслительные школы которые спорили по поводу того, насколько понятным или объяснимым должен быть ИИ. Многие думали, что имеет смысл создавать машины, которые рассуждали по правилам и логике, делая их внутренний диалог прозрачным для любого, кто хотел бы изучить код. Другие считали, что интеллект будет легче проявляться, если бы машины будут черпать вдохновение в биологии и будут учиться, наблюдая и переживая. Это означало, что компьютерное программирование должно происходить у него в голове. Вместо написания команд программистом программа генерирует свой собственный алгоритм на основе данных примера и желаемого результата. Технологии машинного обучения, которые позже эволюционировали в самые мощные сегодня системы ИИ, следуют последнему пути: машина, по сути, сама программирует себя.
Сначала этот подход имел ограниченное практическое применение, и в 1960-х и 70-х годах он оставался в основном ограниченным. Затем возобновился интерес к компьютеризации многих отраслей и появлению больших массивов данных. Это вдохновило разработку более мощных методов машинного обучения, особенно новых версий одной из них, известной как искусственная нейронная сеть. К 1990-м годам нейронные сети могли автоматически оцифровывать рукописные символы.
Но только в начале этого десятилетия, после нескольких хитроумных ухищрений и уточнений, очень большие или «глубокие» нейронные сети продемонстрировали значительное улучшение автоматического восприятия. Именно глубокое обучение «виновно» в сегодняшнем росте возможностей ИИ. Оно дало компьютерам необычайные возможности, такие как способность распознавать произносимые слова почти так же хорошо, как и человек — слишком сложный навык, чтобы вручную обучить ему машину. Глубокое обучение трансформировало компьютерное зрение и значительно улучшило машинный перевод. В настоящее время оно используется для руководства всеми видами ключевых решений в медицине, финансах, производстве и за его пределами.
Работа любой технологии машинного обучения по своей природе более непрозрачна даже для компьютерных специалистов, чем вручную написанная система. Это не значит, что все будущие техники искусственного интеллекта будут одинаково непознаваемы. Но по своей природе глубокое обучение — особенно глубокий чёрный ящик.
Вы не можете просто заглянуть внутрь глубокой нейронной сети, чтобы увидеть, как она работает. Аргументация сети встроена в поведение тысяч смоделированных нейронов, расположенных в десятках или даже сотнях сложно взаимосвязанных слоёв. Каждый нейрон в первом слое получает вводную, как и интенсивность пикселя в изображении, а затем выполняет вычисление перед выводом нового сигнала. Эти выходные сигналы передаются в сложной сети нейронам следующего уровня и так далее, пока не будет получен общий результат. Кроме того, существует процесс, известный как back-propagation, который корректирует вычисления отдельных нейронов таким образом, чтобы сеть научилась производить желаемый результат.
Множество уровней в глубокой сети позволяют распознавать вещи разной сложности абстракции. Например, в системе, предназначенной для распознавания собак, нижние слои распознают простые вещи, такие как контуры или цвет; более высокие слои распознают более сложные вещи, такие как мех или глаза; и уже самый верхний слой идентифицирует весь объект как собаку. Такой же подход может быть применён и к другим вводным, которые заставляют машину обучать себя: звукам, которые составляют слова в речи, буквам и словам, которые создают предложения в тексте, движениям рулевого колеса, необходимым для вождения.
Использовались оригинальные стратегии, чтобы попытаться отследить и таким образом объяснить более подробно, что происходит в таких системах. В 2015 году исследователи из Google изменили алгоритм распознавания изображений на основе глубокого обучения, чтобы вместо того, чтобы определять объекты на фотографиях, он генерировал или изменял их. За счёт эффективного выполнения алгоритма в обратном порядке, они хотели обнаружить функции, которые программа использует для распознавания, скажем, птиц или зданий. Полученные изображения, созданные проектом, известным как Deep Dream, продемонстрировали гротескных инопланетных животных, появлявшихся из облаков и растений, радужные пагоды, цветущие среди лесов и горных хребтов. Изображения доказали, что глубокое обучение необязательно полностью непостижимо: алгоритмы основываются на знакомых визуальных функциях, таких как птичий клюв или перья. Но изображения также намекали на то, насколько глубокое обучение отличается от человеческого восприятия, и как оно интерпретирует артефакты, которые мы могли бы проигнорировать. Исследователи Google отметили, что когда его алгоритм генерировал изображения гантели, он также генерировал человеческую руку, удерживающую её. Машина пришла к выводу, что рука является частью вещи.
Дальнейший прогресс был достигнут благодаря использованию идей, заимствованных из неврологии и когнитивной науки. Группа во главе с доктором из Университета Вайоминга Джеффом Клюном (Jeff Clune) использовала аналоговый эквивалент оптических иллюзий для тестирования глубоких нейронных сетей. В 2015 году группа Клюна продемонстрировала, как определённые изображения могут обмануть такую сеть и заставить её воспринимать вещи, которых там нет, потому что изображения используют низкоуровневые шаблоны, которые ищет система. Один из сотрудников Clune, Джейсон Йосинский, также создал инструмент, который действует как зонд в мозге. Его инструмент нацелен на любой нейрон в середине сети и ищет изображение, которое активирует его больше всего. Изображения, которые появляются, являются абстрактными (представьте, что импрессионисты рисуют фламинго или школьный автобус), вынося на первый план таинственную природу способностей машины воспринимать вещи.
Однако нам нужно больше, чем просто заглянуть в мышление ИИ, и простого решения нет. Именно взаимодействие вычислений внутри глубокой нейронной сети имеет решающее значение для распознавания образов более высокого уровня и принятия сложных решений, но эти вычисления являются паутиной математических функций и переменных. «Если бы у вас была очень маленькая нейронная сеть, вы могли бы её понять», — говорит Яаккола. «Но как только она становится очень большой и имеет тысячи единиц на слой при сотнях слоёв, тогда всё становится совершенно непонятным».
В офисе рядом с Яакколой работает Регина Барзилай, профессор Массачусетского технологического института, которая намерена применять машинное обучение в медицине. Метод был удивительным сам по себе, но Барзилай был также встревожен тем, что современные методы статистического и машинного обучения не использовались для оказания помощи в онкологических исследованиях или для руководства по лечению пациентов. Она говорит, что ИИ обладает огромным потенциалом для медицины, но понимает, что этот потенциал будет означать выход за рамки одних лишь медицинских записей. Она предлагает использовать больше необработанных данных, которые, по её словам, в настоящее время недостаточно используются: «обработка изображений, данных патологии, всей этой информации».
После того, как она закончила изучать лечение рака в прошлом году, Барзилай и её ученики начали работать с врачами в больнице Массачусетса, чтобы разработать систему, способную выявлять патологии и идентифицировать пациентов с определёнными клиническими характеристиками, которые исследователи могли бы хотеть изучить. Тем не менее, Барзилай понял, что системе необходимо будет объяснить свои аргументы. Итак, вместе с Яакколой и учеником она добавила шаг: система извлекает и выделяет отрывки текста, которые являются репрезентативными по найденному шаблону. Барзилай и её ученики также разрабатывают алгоритм глубокого обучения, способный обнаруживать ранние признаки рака молочной железы по изображениям маммограммы, и они направлены на то, чтобы дать этой системе некоторую способность объяснить ёе рассуждения. «Вам действительно нужно создать цикл, в котором машина и человек будут сотрудничать», — говорит Барзилай.
Насколько хорошо мы можем поладить с машинами, которые непредсказуемы и непостижимы?
Американские военные вкладывают миллиарды в проекты, которые будут использовать машинное обучение для пилотирования транспортных средств и самолетов, выявлять цели и помогать аналитикам просеивать огромные груды разведывательных данных. Здесь больше, чем где-либо ещё, даже больше, чем в медицине, мало места для алгоритмической тайны, и министерство обороны определило объяснимость как ключевой камень преткновения.
Дэвид Ганнинг, менеджер программ в Агентстве перспективных исследований обороны, наблюдает за программой под названием Explainable Artificial Intelligence. Ветеран агентства, который ранее курировал проект DARPA, позднее переродившийся в Siri, Ганнинг говорит, что автоматизация примерима в бесчисленных военных областях. Аналитики тестируют машинное обучение как способ выявления закономерностей в огромных количествах шпионских данных. В настоящее время разрабатываются и тестируются многие беспилотные наземные транспортные средства и летательные аппараты. Но солдаты, вероятно, не будут чувствовать себя комфортно в роботизированном танке, который не будет им ничего объяснять, а аналитики будут неохотно работать с информацией без каких-либо рассуждений. «Часто характер этих систем машинного обучения приводит к появлению множества ложных тревог, поэтому аналитику Intel действительно нужна дополнительная помощь, чтобы понять, почему была сделана та или иная рекомендация», — говорит Ганнинг.
В марте этого года DARPA выбрало 13 проектов из академических и промышленных кругов для финансирования по программе Ганнинга. Некоторые из них могли опираться на работу, возглавляемую Карлосом Гестрином, профессором Вашингтонского университета. Он и его коллеги разработали способ, позволяющий системам машинного обучения обосновывать свои результаты. По сути, в рамках этого метода компьютер автоматически находит несколько примеров из набора данных и даёт по ним короткое пояснение. Например, система, предназначенная для классификации сообщений электронной почты, поступающих от террориста, может обрабатывать миллионы сообщений при подготовке и принятии решений. Но, используя подход вашингтонской команды, она может выделить определённые ключевые слова в сообщении. Группа Гестрина также разработала способы для систем распознавания изображений, чтобы распознать их алгоритмы, выделив наиболее важные части изображения.
Один из недостатков этого подхода и других подобных ему, состоит в том, что предоставленные объяснения всегда будут упрощены, что означает, что некоторые важные сведения могут быть потеряны на этом пути. «Мы не достигли мечты, согласно которой в ИИ беседует с нами и объясняет свои действия», — говорит Гестрин — «мы далеко от истинной интерпретации ИИ».
Неясности не должно быть в ситуациях с высокими ставками, таких как диагностика рака или военные манёвры. Знание рассуждений ИИ также будет иметь решающее значение, если технология станет общей и полезной частью нашей повседневной жизни. Том Грубер, возглавляющий команду Siri в Apple, говорит, что объяснимость — это ключевое соображение для его команды, поскольку она пытается сделать Siri более умным и способным виртуальным помощником. Грубер не комментирует конкретные планы относительно будущего Siri, но легко представить, что если вы получите рекомендацию ресторана от Siri, то захотите узнать, на чём были основаны её выводы. Руслан Салахутдинов, директор отдела исследований ИИ в Apple и адъюнкт-профессор Университета Карнеги-Меллона, видит объяснимость в качестве основы эволюции отношений между людьми и интеллектуальными машинами. «Это приведёт к доверию» — говорит он.
Так же, как многие аспекты человеческого поведения невозможно объяснить подробно, возможно, и для ИИ не получится объяснить все, что он делает. «Даже если кто-то может дать вам разумное объяснение [его или её действий], оно, вероятно, будет неполно, и то же самое может быть справедливо для ИИ», говорит Кьюн из Университета Вайоминга. «Это может быть только часть природы интеллекта, только часть доступна рациональному объяснению. Некоторые из них просто инстинктивны, или подсознательны, или непостижимы».
Если это так, то на каком-то этапе нам, возможно, придётся просто довериться мнению ИИ или обойтись без его использования. Точно так же, как общество строится на контракте ожидаемого поведения, нам нужно будет проектировать системы ИИ, чтобы уважать наши социальные нормы и соответствовать им. Если мы хотим создавать роботизированные танки и другие машины для убийства, важно, чтобы принятие ими решений соответствовало нашим этическим суждениям.
Чтобы исследовать эти метафизические концепции, я отправился в Университет Тафтса для встречи с Дэниелом Деннеттом, известным философом и ученым-когнитивистом, который изучает сознание и ум. Глава последней книги Деннетта «От бактерии до Баха и обратно», энциклопедического трактата о сознании, предполагает, что естественная часть эволюции самого интеллекта — это создание систем, способных выполнять задачи, которые их создатели не могут выполнить. «Вопрос в том, что нам нужно сделать, чтобы сделать наше детище разумным: какие стандарты мы требуем от них и от нас самих?» — говорит он мне в своем захламлённом кабинете в идиллическом университетском городке.
У него также есть одно предупреждение. «Я думаю, что, если мы собираемся использовать эти вещи и полагаться на них, тогда давайте крепко задумаемся о том, как и почему они дают нам ответы, насколько это возможно», — говорит он. Но так как не может быть идеального ответа, мы должны быть так же осторожны в объяснениях ИИ – также, как и в человеческих обьяснениях — независимо от того, насколько умна машина. «Если она не может достичь успеха в обьяснении нам своей логики, — говорит он, — тогда не доверяйте ей».
По информации: matveychev-oleg.livejournal.com
