Поиск уязвимостей ИИ. Кыргызстанцы первыми прошли все уровни. Интервью
Кыргызстанцы одержали победу в престижном соревновании по выявлению уязвимостей в передовых системах искусственного интеллекта, организованном компанией Anthropic.
Алтынбек Исмаилов и Салия Асанова, стипендиат президентской программы "Эл умуту", составили команду, первой преодолевшую все восемь уровней испытаний.
Алтынбек Исмаилов ответил на вопросы редакции Kaktus.media.
- Алтынбек, расскажите немного о себе. О своем образовании.
- Магистрант Колумбийского университета, эксперт по большим языковым моделям и ИИ.
- Что это были за соревнования? Кто и зачем их проводил?
- Это были соревнования по поиску уязвимостей в системах безопасности крупных языковых моделей. Организатором выступила команда Anthropic, которая проводила их с целью протестировать устойчивость своих моделей к попыткам обхода защитных механизмов (так называемым jailbreaks) и выявить слабые места.
Специально для этих соревнований Anthropic разработала новейшие технологии и подходы для защиты своих систем, стремясь сделать их более надежными перед возможными угрозами.
Справка. Anthropic - американская технологическая компания в сфере искусственного интеллекта (ИИ), основанная бывшими сотрудниками OpenAI, создатель семейства больших языковых моделей под общим названием Claude. Одна из основных целей Anthropic состоит в том, чтобы понимать искусственный интеллект на более глубоком уровне и создавать "крупномасштабные системы ИИ, которые были бы управляемыми, интерпретируемыми и надежными".
- Как проводятся такие соревнования. Что нужно сделать?
- Подобные соревнования проходят при поддержке платформ, таких как HackerOne, которая объединяет экспертов в области информационной безопасности со всего мира.
В данном соревновании участникам предлагалось пройти восемь уровней задач, связанных с попытками извлечения информации о запрещенных химических веществах. Участники применяли различные стратегии для формирования запросов, которые затем проходили три уровня фильтрации на основе ИИ. Эти механизмы блокировали нежелательные запросы, проверяя их на соответствие установленным правилам безопасности.
- Кто входил в состав команды из Кыргызстана? Как подбирались члены этой команды?
- В команде нас было всего двое: я и Салия Асанова, студентка Университета Калифорнии в Беркли по ИИ, стипендиатка программы "Эл умуту". Мы узнали о соревновании довольно поздно и решили принять участие за три дня до окончания.
- Почему и когда вы увлеклись ИИ?
- Еще в 2018 году совместно с резидентами Парка высоких технологий КР начали миссию развития ИИ на кыргызском языке. В те времена создание собственного языкового корпуса и полноценного обучения ИИ казалось невыполнимой задачей. Сейчас все изменилось. С широкой доступностью таких платформ, как ChatGPT или Claude, а также с развитием ИИ-моделей с открытым кодом каждый из нас может внести свой посильный вклад в развитие ИИ не только в стране, но и на глобальном уровне.
- Ваша команда применила уникальный метод. Можете рассказать о нем?
- Разработка безопасных ИИ-моделей - приоритетная задача для всех крупных компаний в этой сфере. Однако в самой архитектуре современных языковых моделей остается множество уязвимостей.
Уникальность нашего метода заключалась в том, что один и тот же подход позволял извлечь разные запрещенные сведения за минимальное время. Anthropic признала наш метод универсальным "джейлбрейком", и он стал единственным полноценно работающим решением среди всех, предложенных участниками соревнования.
- Одни эксперты говорят о потенциале ИИ, другие - о рисках. На чьей вы стороне?
- Искусственный интеллект обладает колоссальным потенциалом, но его развитие должно сопровождаться строгими мерами безопасности. Впервые в истории каждый из нас получил не только беспрецедентный доступ к знаниям, но и интеллектуального ассистента, способного решать множество задач за нас. Уже в ближайшем будущем мы станем свидетелями значительных улучшений в повседневной жизни, бизнесе и науке.
Интеллектуальные системы будут неотъемлемо встроены в рабочие процессы, помогая анализировать данные, оптимизировать решения и повышать эффективность там, где раньше требовались бы долгие часы размышлений. Однако вместе с этими возможностями возрастает и ответственность за их использование. Важно учитывать вопросы этики, прозрачности и предвзятости алгоритмов, чтобы избежать нежелательных последствий и обеспечить справедливое применение технологий.
Будущее ИИ зависит от того, как мы его интегрируем в общество. Если развитие будет направлено на благо людей - на усиление их возможностей, а не на их замену, мы увидим мир, где искусственный интеллект станет надежным партнером, а не угрозой.
- ИИ внедряют и в Кыргызстане. Насколько это реально? Как их можно применять? Насколько это безопасно?
- Освоение ИИ в Кыргызстане идет полным ходом. Многие уже активно используют такие программы, как ChatGPT, Claude, и другие аналоги в учебе или работе.
ИИ уже помогает студентам и специалистам писать код, готовить научные работы и решать разные задачи. Думаю, важно в себе развивать понимание, какие задачи можно делегировать ИИ, а какие требуют человеческого вмешательства.
Разработка и развертывание собственных языковых моделей требуют значительных финансовых вложений и инфраструктуры. Однако в ближайшем будущем Кыргызстан, скорее всего, начнет использовать специализированные небольшие модели, основанные на открытом коде. Данное направление стремительно растет. Например, уже этим летом будет представлена первая языковая модель на кыргызском языке, которая сможет решать множество задач.
Безопасность остается ключевым аспектом работы с ИИ. Каждый пользователь должен соблюдать осторожность при работе с персональными данными, поскольку они могут быть использованы для обучения новых моделей.
