Разбиране на предизвиканите от ИИ халюцинации в кода и техните рискове

Генерирания от ИИ код е признат като ценен инструмент за разработчиците, но последните открития разкриват значителни рискове, свързани с 'пакетните халюцинации'. Това явление, при което AI модели генерират препратки към несъществуващи библиотеки на код, представлява сериозна заплаха за веригите за доставки на софтуер. Тази статия разглежда механизмите на предизвиканите от ИИ халюцинации и произтичащите от това уязвимости в разработката на софтуер.

Какви са предизвиканите от ИИ халюцинации в кода?

Халюцинациите в кода на ИИ възникват, когато големи езикови модели (LLMs) изходират код, съдържащ зависимости от несъществуващи библиотеки или пакети. Това може да доведе до значителни уязвимости във веригата за доставки на софтуер, предоставяйки вектор за атаки като известните тактики на объркване на пакетите.

Изследването, което разкри проблема

Неотдавнашно изследване разгледа 16 водещи LLMs, генерирайки над 576 000 примерни кода. Резултатите бяха поразителни: почти 440 000 изброени зависимости от пакети бяха 'халюцинирани'. Тези фалшиви зависимости са зрели за експлоатация, предоставяйки зловредни агенти вход към практически софтуерни приложения, като предлагат несъществуващи библиотеки, които разработчиците неволно използват.

Рискове от атаки с объркване на пакетите

Пакетната халюцинация увеличава риска от атаки с объркване на зависимостите, метод, който експлоатира софтуер, разчитащ на тези фабрикувани зависимости. Когато нападателят прикрива вреден пакет със същото име като легитимен и евентуално несъществуващ, но с напреднала версия, приложенията на софтуера могат да внедрят погрешно тази вредна версия.

Исторически контекст

Заплахата бе първоначално демонстрирана през 2021 г., показвайки потенциалното си въздействие върху технологични гиганти като Apple и Microsoft, където нападателите изпълниха фалшив код, подвеждайки легитимните процеси на инсталиране на пакети. Забележителни инциденти включват успешна експлоатация от Алекс Бирсан, където тези техники засегнаха компании като PayPal и Netflix, инсталирайки зломеритени пакети поради объркване между обществени и частни хранилища.

Въздействие върху софтуерната индустрия

За компания като Encorp.ai, която се специализира в ИИ интеграции и решения, разбирането на този феномен е критично. Интеграторите и разработчиците се нуждаят от надеждни процеси за верифициране, за да гарантират, че зависимостите не само са законни, но и безопасни от злонамерена експлоатация.

Проактивни мерки

1. Подобрена проверка: Както бе открито, повторения на халюцинирани пакети могат да се появят, показвайки неслучайни грешки, които могат да бъдат експлоатирани за атаки. Включването на автоматизирани механизми за проверка за кръстосана проверка на зависимостите преди приемането им е важно.

2. Надеждност на LLMs: Компаниите трябва да използват само изходи от доверени LLMs и да поддържат актуализирана база данни с проверени пакети.

3. Редовни одити: Редовните одити на инсталации на кодове и зависимости могат да помогнат да се идентифицират уязвимости преди тяхната експлоатация.

Препоръки от експерти

Джозеф Спраклен, водещ изследовател, подчертава предпазливост: разработчиците трябва критично да оценяват зависимостите, предлагани от LLMs. Той отбелязва критичността на неизлъчването на предложения, генерирани от ИИ, без обстойна валидация, усещане, което се е откроило в целия пейзаж на сигурност в софтуера.

Заключение

Халюцинациите в кода на ИИ ни напомнят за деликатния баланс между използване на напредъка на ИИ и осигуряване на целостта на софтуера. Компании като Encorp.ai играят значителна роля в насърчаването и изпълнението на ефективни стратегии за смекчаване на тези рискове, като по този начин осигуряват веригата за доставки на софтуер.

Организационната бдителност, съчетана с образованието относно капаните на генерирания от LLMs код, ще бъде от решаващо значение за навигацията в бъдещия пейзаж на интегрирана с ИИ разработка на софтуер.