От защиты ИИ до статического анализа: в Омске стартовал «ДевФест»

От защиты ИИ до статического анализа: в Омске стартовал «ДевФест»
От защиты ИИ до статического анализа: в Омске стартовал «ДевФест»
От защиты ИИ до статического анализа: в Омске стартовал «ДевФест»
От защиты ИИ до статического анализа: в Омске стартовал «ДевФест»
От защиты ИИ до статического анализа: в Омске стартовал «ДевФест»
От защиты ИИ до статического анализа: в Омске стартовал «ДевФест»
Фото: omskregion.info

21 мая в омском кинотеатре «Атриум-кино» начала работу межрегиональная конференция программистов «ДевФест».

Большая конференция для разработчиков впервые за всю историю своего существования прошла не в привычном конференц-зале, а сразу на нескольких локациях кинотеатра «Атриум-кино». Событие объединило программистов из разных регионов России, а также гостей из Гонконга и Сербии.

Цель форума — дать практикующим инженерам новые знания, инструменты для решения нестандартных задач и возможность живого общения с коллегами. Регистрация участников началась в 10 утра, после чего стартовали образовательные секции.

Организаторы подготовили четыре тематических трека: «Искусственный интеллект», «Информационная безопасность», «Облачные технологии» и «Критическая информационная инфраструктура». В рамках каждого трека прошло по четыре лекции от приглашённых экспертов. Кроме того, для гостей организовали 12 дополнительных форматов: командные игры, мастер-классы, вечеринки для нетворкинга и многое другое.

За подготовку фестиваля отвечает команда из 11 человек, главный организатор – программист Алексей Коровянский. Раньше он имел статус Google Developer Expert – это звание присваивают самым активным и знающим разработчикам, которые помогают другим разбираться в технологиях Google.

– Конференция проходит с 2012 года, но раньше мы собирались в меньшем формате. Наша конференция создавалась для программных инженеров. Здесь всё для разработчиков: как решать нестандартные задачи на проектах, как оптимизировать свою работу, как использовать ИИ-агентов. Мы специально сделали разную ценовую политику на билеты, чтобы могли прийти и начинающие, и опытные специалисты. Всем будет интересно , – рассказала исполнительный директор «ДевФеста» Елена Буйло.

Всего на фестиваль приехали 43 спикера. Примерно 80% из них представляют крупные компании Москвы и Санкт-Петербурга – это признанные эксперты в своих областях. География участников также охватила Новосибирск, Томск, Екатеринбург, Челябинск. Один из докладчиков подключался онлайн из Лондона. Форум продлится до 23 мая, и его программа выстроена так, чтобы каждый — от студента до ведущего инженера — нашёл для себя полезное.

ИИ под ударом

Из четырёх направлений наибольший интерес у публики вызвал трек об искусственном интеллекте. Вступительную лекцию «Безопасность ИИ: регулирование, методологии, техники, инструменты… и вера в лучшее» прочитал Алексей Синадский из компании УЦСБ.

Лектор объяснил: современные системы ИИ уже управляют чат-ботами в банках, помогают врачам и могут отдавать команды от имени человека. Чем больше власти у ИИ, тем выше риск — злоумышленники способны обмануть программу, заставить её нарушить правила, выдать чужие данные или нанести вред. Речь шла о том, как происходят такие атаки, какие законы и правила защиты существуют в разных странах и что делать для безопасности прямо сейчас.

Около пяти лет назад в индустрии появились большие языковые модели (LLM) — программы, обученные на миллиардах текстов. Их стали встраивать в чат-боты, а затем в «агентов»: программы, которые могут совершать действия — отправить письмо, перевести деньги, заказать такси. Как только ИИ получил доступ к реальным задачам, возникли новые угрозы: модель можно обмануть, заставив выдать секретные данные или выполнить вредную команду.

Единого всемирного закона о безопасности ИИ пока нет, но правила понемногу появляются. В Евросоюзе действует принцип: чем опаснее программа для жизни людей, тем строже требования. Если ИИ всего лишь рекомендует фильмы — проверка одна, а если ставит диагнозы или управляет заводом — совсем другая. В Китае считают, что у любой ИИ-системы должна быть «красная кнопка» — возможность мгновенно отключить её, не сломав всё остальное. В России действуют указы президента и приказы ФСТЭК (службы по технической защите информации): они требуют защищать данные, сами модели и инфраструктуру. Для особо важных объектов — заводов, электростанций, транспортных узлов — готовят отдельный ГОСТ.

Алексей Синадский перечислил несколько способов атак. Самый простой — подмена символов (русскую «а» меняют на английскую, цифру 0 — на букву O). Простые фильтры такую замену не замечают, а модель понимает вредный запрос. Более хитрый метод — добавление случайного набора букв к вопросу, пока модель не начнёт выдавать запрещённый ответ. Но самые опасные атаки — «человеческие»: программу уговаривают, вводят в ролевую ситуацию, ссылаются на авторитет создателя. Сегодня такие приёмы автоматизируют: одна нейросеть пытается обмануть другую, а третья проверяет результат. Так злоумышленники быстро находят дыры в защите искусственного интеллекта.

Лектор предложил выстраивать защиту на трёх уровнях. Первый — инфраструктура: нужно ограничить права ИИ, чтобы он не мог менять свои настройки или выполнять команды без спроса. Второй — сама модель: её можно дополнительно обучить безопасно отвечать на провокации. Третий (самый доступный для обычных компаний) — фильтры на входе и выходе: программа-шлюз проверяет каждый вопрос и ответ, перефразирует подозрительные сообщения, добавляет строгую инструкцию.

– Токены — это то, что поступает на вход модели. Если мы заменим токен, модель ответит иначе. Простые фильтры на регулярных выражениях такую замену не замечают, и атака проходит. Самый надёжный способ защиты на данный момент — поставить барьер на входе и строго ограничить права, чтобы ИИ-агенты не могли делать лишнего , – пояснил Алексей Синадский.

Главный совет: лучше иметь несколько простых слоёв защиты, работающих на 90%, чем один идеальный, но обходной. Начать можно с малого: за полчаса ограничить права ИИ и прописать в инструкции, что он должен игнорировать провокации.

Уборка в коде

В секции информационной безопасности выделился доклад Петра Шубина из Т‑Банка. Он был посвящён статическому анализу — проверке кода без его запуска, позволяющей понять, как связаны между собой отдельные части большой программы. В мобильном банке, например, тысячи модулей, над каждым работает своя команда. Со временем возникает путаница: кто кого вызывает, можно ли удалить старый код, который уже не нужен? Разобраться вручную почти невозможно.

Пётр начинал путь в программировании в Омском государственном университете путей сообщения. Сегодня он android-разработчик. Инструмент для статического анализа, о котором он рассказал, создала команда Т‑Банка – готовые программы не подходили под масштаб задач.

– Разработчики пишут код непрерывно. Я рассказал об инструменте, который автоматизирует анализ того, что разработчик обычно делает в голове. Вместо того, чтобы собирать информацию вручную, вы запускаете программу и она выдаёт сводку. Это быстрее. Вы можете настроить анализатор так, чтобы он собирал только те данные, которые нужны именно вам. Но этот подход подходит в первую очередь крупным компаниям с большими объёмами кода , — объяснил Пётр Шубин.

Его решение — надстройка над компилятором (программой, переводящей код в команды для процессора). Инструмент собирает «отпечатки» всех кусочков кода внутри каждого модуля, а потом сравнивает их с тем, что есть в других модулях. Если нигде в проекте не встречается обращение к какому-то кусочку, значит, это «мёртвый груз» и его можно безболезненно удалить. Итоговый отчёт показывает, какие модули связаны между собой, а какие никто не использует.

Спикер перечислил и минусы: собственное решение дороже и сложнее готового, статический анализ сильно загружает компьютер (при тысячах модулей нужно много оперативной памяти), а для маленьких проектов проще проверить код вручную или с помощью нейросети. Однако главный вывод: имея прямой доступ к внутреннему устройству кода через компилятор, можно автоматизировать практически любую проверку, которая раньше делалась вручную.

Параллельно на других секциях обсуждали практическую безопасность приложений, надёжность облачных систем и защиту критической инфраструктуры. Участники не только слушали лекции, но и участвовали в мастер-классах, а вечером общались в неформальной обстановке.

Фестиваль «ДевФест» завершится в субботу 23 мая. Организаторы уже смотрят в будущее: они хотят расширяться до федерального уровня и привлекать коллег из ближнего зарубежья.

– Задача — достичь масштабов, потому что люди не всегда верят, что можно сделать что-то классное в Омске. А на самом деле движ происходит очень интересный , – подытожила Елена Буйло.

Автор Виолетта Ильченко Источник фото Майя Морочева и Алина Кудашкина

 
По теме
Сын преступника, причинившего ущерб АО "Омская топливная компания" в размере около 80 миллионов рублей, налоги не заплатил, а фискальная служба работу арбитражного управляющего не оплатила.
Семь лет колонии получил руководитель фирмы, обманувший 93 омича. Центральный районный суд Омска вынес приговор бывшему руководителю ООО «Аналитический центр "Ромни Марш"» Ярославу Макаренко.
72-летнего мужчину осудят за убийство в селе Новоуральское Фото: СУ СК России по Омской области В Омской области расследовали уголовное дело против 72-летнего местного жителя.