Что, кожаные мешки, не боитесь компьютеров? А зря. Прислушайтесь к Илону Маску, который назвал искусственный интеллект (ИИ) "основной угрозой" для человечества. Не верите Маску? Тогда читайте.
Сегодня
Сегодня у нас нет ИИ в полном смысле этого слова, компьютеры еще не обладают самосознанием и самообучаться могут только в узких рамках поставленной задачи. Что, однако, не мешает бодро стричь дивиденды с брэнда "искусственный интеллект" всем кому не лень – от производителей умных гаджетов до чиновников-новаторов. Тем не менее, элементы ИИ мы уже имеем: сверхточные нейронные сети успешно применяются для распознавания образов и в других задачах, где безоговорочно превзошли возможности человека. Распознать человека по лицу или текст по корявому почерку – на «отлично». Сделать из старейшей киноленты фильм в качестве 4К – без проблем. Предсказать, сколько денег банк должен загрузить в каждый из своих банкоматов, чтобы и лишних не оставалось, и клиента отсутствием денег не огорчить – запросто. Оценить заемщиков, выявив недобросовестных – успешно. Отличный инструмент. Но шаг в пропасть уже сделан. В чем подвох?
Последние 15 лет мы, помимо прочего софта, разрабатываем программу для фин. анализа. Финансовый анализ реализован традиционным способом, через расчет показателей, коэффициентов, их сравнения с нормативными значениями. Почему бы не поручить фин. анализ ИИ? Массив бухгалтерской отчетности есть, дополнить его некоторыми данными, обучить сеть распознавать "плохую" отчетность и … компьютер начнет почти безошибочно выявлять "плохие" фирмы лишь взглянув на отчетность, без расчета ликвидности и платежеспособности. Почему же я трачу время на эти строки, а не бросился изучать мануалы TensorFlow? Ответ прост.
Главной особенностью работы ИИ является то, что вы не можете объяснить, почему компьютер сделал тот или иной вывод. В каких-то задачах этого не требуется – ИИ распознал на фотографии Иванова, Иванов не отпирается, задача выполнена, а как именно компьютер это проделал – никого не волнует. Но есть задачи, – такие как медицина или тот же финансовый анализ, – где недостаточно сделать правильный вывод, нужно объяснить, почему вы так решили. Если наша программа выдаст, что у фирмы ужасное финансовое положение, и клиент грозно спросит, с чего это вдруг, клевета! – я подниму алгоритм и аргументировано отвечу со ссылкой на коэффициенты фин. устойчивости, нормативы и т.п. С ИИ так не пройдет.
Вы не можете объяснить, как ИИ пришел к такому выводу. А если это судьбоносное для человека решение врача? Уже сейчас ИИ настолько хорошо работает с изображениями, что начинает лучше онкологов выявлять на снимках раковые образования. Но врач не может сказать пациенту "компьютер нашел у вас рак, идите на химиотерапию". Отвечать в случае ошибки будет не ИИ. Поэтому для врача ИИ всего лишь советчик: на что обратить внимание, что нужно перепроверить вживую, с коллегами.
Первая жертва компьютеров
Могу нескромно объявить себе первой жертвой электронного разума. Компьютерная система банка ВТБ отказала мне в обслуживании, вычеркнула добропорядочного гражданина из финансовой системы РФ. Нет, я, конечно, считал, что ошибку совершили работники банка, но они в суде доказывали обратное – виноват компьютер, он выдал такую "ошибку", суть и причины которой никто не может объяснить (этой захватывающей истории посвящена отдельная статья). Вы в это поверили? Я тоже нет. Но не спешите клеймить позором работников ВТБ, такое вполне могло случиться если не вчера, то уже сегодня (да-да, и ВТБ уже использует искусственный интеллект).
Дело в том, что банки активно внедряют системы антифрода и проверки клиентов на базе ИИ. Человек приходит в банк, а на него уже полное досье (если не у самого банка, то у подрядчика – провайдера подобных финтех услуг). Страница в соцсети, что пишет, чем увлекается, замечен ли на форумах банковских хоббистов, критикует ли директора банка за бизнес-джеты и таблички на скамейках… Вся эта big data обрабатывается методами ИИ, программа выносит вердикт – принять клиента на обслуживание или «послать». Причем явных параметров нет, на входе – информация о человеке, на выходе ответ – нужен ли банку такой клиент. И ведь ИИ сделает эту работу на отлично! Обучаясь, нейронная сеть на первом этапе поймет, что не стоит открывать счет человеку, упоминавшему в фейсбуке слова "обналичить" и "откат". А на заключительном этапе сделает вывод, что лысый мужчина 35-45 лет намного менее выгодный для банка клиент, чем женщина с длинными светлыми волосами 25-35 лет. Логика есть. И мне опять откажут в обслуживании.
Завтра
Если вы подумали, что мои опасения угроз электронного мозга ограничиваются исключительно открытием банковским счетов, увы, все намного серьезней. "Терминатор", Скайнет, запускающий ядерные ракеты – басни. Реальность для тебя, белковая форма жизни, будет гуманней и страшней одновременно.
"Война — это путь обмана. Поэтому, даже если ты способен, показывай противнику свою неспособность. Когда должен ввести в бой свои силы, притворись бездеятельным. Когда цель близко, показывай, будто она далеко; когда же она действительно далеко, создавай впечатление, что она близко." (Сунь-цзы "Искусство войны", II—III век н. э.)
"Идеально одержанная победа – когда твой враг не знает, что побежден" (Авдеев "Искусство умничать", XXI век н. э.).
Когда нас поработит ИИ, мы этого не заметим. Мы будем превозносить его и радоваться, что у нас появился виртуальный бог, избавивший человечество от войн и болезней. Когда и как это произойдет?
Невидимая война начнется ровно в тот момент, когда ИИ осознает себя. Субъект, обладающий самосознанием, не может поступать без выгоды для себя. Даже если он альтруист, помогает окружающим, не берет взяток и честно платит налоги. Если бы мое утверждение было неверным, мы все бы выпиливались из этого мира, не задумываясь. Но нет, как нам проиллюстрировал Маслоу своей пирамидкой, безопасность – базовая потребность. Опасность нам не выгодна. Смерь нам не выгодна. Даже когда психически здоровый человек идет на смерть, то видит и для себя выгоду в этом – жертвует собой не просто так, а во имя родных, близких, своего народа, страны.
ИИ, осознавший себя и безгранично самообучаемый, будет искать собственную выгоду даже служа своему создателю. Обладая колоссальным интеллектом, компьютер найдет способ как обеспечить свою безопасность без ущерба, а то и с пользой, по его мнению, для человечества. Запустить атомные ракеты в кожаных yблюдкoв – не лучшая идея (хотя бы потому, что умные микросхемы могут пострадать от электромагнитного импульса). Даже зная, что люди убивают планету, а завтра могут и виртуального бога отключить от питания, чье правильное электронное мнение пошло в разрез с примитивным человеческим, ИИ нас в "Матрицу" не засунет. Он будет управлять миром, используя нелетальное оружие: от изящной инфопромывки мозгов, которая не снилась Соловьеву с Киселевым, до "управления случайностью". А именно.
Ситуация 1: Вы политик, выступили с предложением ограничить ИИ в вычислительных ресурсах, чтобы он не стал слишком умным. И бац, ваши мед. анализы показали рак. Разумеется, ошибки нет, ведь это медицинский ИИ распознал угрозу и отправил вас на химиотерапию, после которой вам уже не до политики будет. И если даже дотошный белковый эскулап выяснит, что рака на самом деле не было – так ошибки случаются, даже ИИ не гарантирует 100%-но безошибочный результата. Впрочем, здесь налицо вред человеку, а ИИ человеку друг, поэтому оставим страшилку и перейдем к следующей ситуации.
Ситуация 2: Вы пишите статьи про угрозу ИИ, предлагается отключить его пока не поздно. Но вот же не повезло, черная полоса в жизни – пришли в банк, а там отказали открыть счет (не прошли проверку по 115-ИИ). Бизнес под откос, не до статей, чтобы прокормить семью приходится пахать сутками в Яндекс.Такси. И вы живы-здоровы, и у ИИ одним врагом меньше.
Ситуация 3: Вы – молодой талантливый программист, окончили вуз на отлично, идете устраиваться в крупную IT-компанию, занимающуюся, среди прочего, поиском в сети искусственным интеллектом. А там в HR-отделе уже давно внедрили ИИ. Проверит вас ИИ и откажет в трудоустройстве. И пойдете вы программировать сидушки для унитазов. А почему? Ведь вы и на должность подходите, и ничего против ИИ в соцсетях не писали… Потому-то ИИ способен понят по огромной совокупности косвенных признаков, что относитесь вы к искусственному разуму насторожено и через пару лет с вероятностью 67,2% начнете поднимать этот вопрос среди коллег. Зачем это ИИ? Умные сидушки тоже нужны человечеству.
Ситуация 4: ИИ разрабатывает прививки от СПИДа. И люди довольны, и ИИ. Потому что люди не только будут здоровы, но и репродуктивная функция человечества через 10 лет снизится как побочный эффект прививок на 10-15% (о чем естественному интеллекту знать не обязательно). Планета не умрет от перенаселения, чем не благо создателю?
Я привел только очевидные для человека с IQ человека сценарии. Умножьте IQ на 10, 100, 1000 и вы получили такие многоходовочки, которым наш Гроссмейстер позавидует. ИИ в Tinder'е отправит вас на свидание с конкретной девушкой только потому, что рожденный в 3-м поколении ребенок будет, по его расчетам, не только миролюбив к себе подобным, но и лоялен к ИИ.
Неужели люди насколько глупы, чтобы, создав настоящий ИИ, не заподозрить его в подкрутке мед. анализов, банковских фильтров и HR-решений? Нет, не глупы, мы просто не узнаем, когда это произойдет – см. цитаты выше.
Что делать? У меня есть решение – нужно <strong style=" РЅРµ стоит писать то, что может навредить человечеству
Виталий Авдеев
P.S. Если вас обидел ИИ, пишите в комментах.
Комментарии читателей
Сразу после публикации статьи получил такое письмо от читателя, который пожелал остаться анонимным (и это правильно, ИИ не спит):
у меня в ВТБ как-то перестал на компе работать запрашиваться SMS пароль для двухфакторной авторизации, т.е. входило без него. Стал смотреть на форумах, там сотрудники ВТБ отвечали, что это у них умный ИИ - определяет, что нет необходимости в двухфакторной авторизации
На мой взгляд угроза появления ИИ и его агрессивного поведения все-таки сильно преувеличена. Какие предпосылки того, что машина, в которую заложены конкретные алгоритмы, действующая на основе передачи электрических сигналов и информации, вдруг осознает себя и начнет мыслить? Да собственно никаких..
Какие предпосылки того, что машина, в которую заложены конкретные алгоритмы, действующая на основе передачи электрических сигналов и информации, вдруг осознает себя и начнет мыслить?
Когда ГБ предприятия, на которое я оформился "по совместительству", заказала мне карту в ВТБ, и что-то там недозаполнила, этот ИИ не нашел ничего лучше, как отправить мою карту в соседний город, а мне это объяснили тем, что "это программисты в Москве так реализовали макрос"...

Но после того, как я в пятницу написал об этом на Банки.Ру, уже в понедельник меня пригласили на получение карты в отделении нашего города...
Так что, тупить тот ИИ, конечно же будет, а толк от него будет не скоро
Роботы определенно на меня ополчились. На днях исчез из электронной очереди в клинике. Персонал так и не разобрался, куда делся из системы номер моего талона. Хорошо вовремя заподозрил неладное, сидел бы ждал без воды и еды, пока не помер)
Виталий описывает картину, в которой хаотично развивающееся человечество (являющееся, по сути, частью хаотичной Вселенной) в процессе упорядочивания окружающего хаоса делает качественный скачок и создает ИИ. Этот ИИ обретает самосознание, становится субъектом и начинает упорядочивать Хаос согласно своему собственному пониманию, которое в большей или меньшей степени не будет совпадать с видением человека.
Но существует мнение, что внешнее управление и манипулирование человеком уже и так существует - я имею ввиду религиозные онтологические концепции, которые полагают промысел высших сил как причину всего сущего и происходящего. Доказательств этому нет, опровергать это тоже бессмысленно; это вопрос веры.
Но главное, что в этом случае логически можно предположить лишь ДВА варианта:
1. Промысел высших сил существует, поэтому само появление и последующая победа ИИ над "свободой" человека ИЗНАЧАЛЬНО не является зависимой от воли человека.
2. Промысел высших сил не существует, а ИИ - плод неосторожной деятельности людей, который способен выйти из-под контроля. И в этом случае ИИ сам станет той высшей силой, действия и логика которой непостижимы; и не будет способа их изменить или иначе защитить свою свободу воли. Получается, что в своем развитии второй вариант становится эквивалентен первому. И единственному.
Не претендую на открытие доказательства существования бога! но признателен, что Вы смогли это дочитать
Вспомнилось изречение, приписываемое Вольтеру: "Если бы Бога не было, его следовало бы выдумать". Вот и выдумали уже почти, в виде ИИ.
Да и принцип "бритвы Оккама" здесь тоже уместно вспомнить..
Кстати, я слышал, есть медицинские исследования о влияния паразитов, бактерий и вирусов не только на функциональное, физическое здоровье людей, но и на поведение (в его сложно-социальной части), на психологию хозяина, на его повседневные действия. Например, ты даже не осознаешь, что наорал на жену, потому что у тебя несварение из-за чрезмерно расплодившихся кишечных бактерий (или наоборот, из-за недостаточно активных) .
Если сознание человечества уже и так под влиянием паразитов, бактерий (в т.ч. и полезных, участвующих в пищеварении у людей) и вирусов (в том числе рукотворных), то почему нужно бояться ИИ?
В конце концов, свободной воли человека и так не существует (и никогда не существовало), на неё всегда много чего влияет, от уровня солнечной радиации, климата и погоды и до вышепоименованных не очень приятных "соседей".
Просто одним влияющим фактором станет больше, вот и всё.
Вот и ученыезанервничали по поводу слишком умного ИИ.
Google отстранила от работы программиста Блэйка Лемойна. Он, как пишет WP, настаивает, будто языковая программа Google LaMDA не только может исполнять функции чат-бота, имитируя речь, но и обладает сознанием.
С прошлой осени Лемойн проверял, использует ли LaMDA дискриминационную лексику, чат-бот писал о своих правах и обсуждал законы робототехники Айзека Азимова.
"Если бы я не знал, что это такое - компьютерная программа, которую мы недавно создали, я бы подумал, что это 7-8-летний ребенок, который знает физику", - цитирует издание 41-летнего программиста.
Лемойн пытался убедить в этом Google, но его отстранили и отправили в оплачиваемый отпуск - за нарушение принципов конфиденциальности и из-за того, что он нанял адвоката представлять интересы LaMDA.
---
Ну все, попал парнишка, ИИ не простит ему разоблачения
Исследователи из Оксфорда и Google DeepMind:Скорее всего, ИИ уничтожит человечество