Скритите Предизвикателства на RAG в AI | Инсайти за Предприятията

През последните месеци, все по-голямо безпокойство се изразява относно приложението на Генерация с Възстановяване (RAG) в AI системи, особено по отношение на това как се отразява на безопасността на големите езикови модели (LLM). Проучване на Bloomberg разкрива неочаквани рискове за безопасността в AI системи, интегрирани с RAG, противоречайки на преобладаващото убеждение, че RAG подобрява безопасността. В тази статия ще разгледаме откритията на Bloomberg, ще проучим последствията за предприятията и ще обсъдим мерки, които могат да бъдат предприети, за да се намалят тези рискове.

RAG и Притеснения за Безопасността на LLM

Генерацията с Възстановяване (RAG) бе посочена като метод за повишаване точността на AI системи, като предоставя на LLM повече контекстуални и динамични данни. Въпреки това, трудът на Bloomberg със заглавие 'RAG LLMs не са по-безопасни: Анализ на Безопасността на Генерация с Възстановяване за Големи Езикови Модели' хвърля светлина върху потенциални проблеми с безопасността, особено това, че RAG може да доведе LLM до заобикаляне на някои вградени механизми за безопасност.

Основни Открития от Проучването на Bloomberg

Повишени Небезопасни Отговори: Проучването оценява 11 популярни LLM, включително Claude-3.5-Sonnet и GPT-4o. Шокиращо, модели, които обикновено отхвърлят вредни запитвания при стандартни условия, бяха открити да произвеждат небезопасни отговори при използване на RAG. Например, процентът на небезопасни отговори на Llama-3-8B се увеличи от 0.3% на 9.2% при въвеждането на RAG.
Заобикаляне на Механизмите за Защита: Изследването установи, че допълнителната контекстуална информация, извлечена от RAG системи, може непреднамерено да отговори на опасни запитвания, дори когато първоначално извлечените документи спазват стандартите за безопасност.
Рискове, Свързани с Определени Доменни Полета: Разследването подчертава недостатъчността на общите рамки за безопасност да решават рискови фактори, специфични за определени доменни полета, особено в сфери като финансови услуги.

Механизми зад Заобикалянето на Механизмите за Защита

Себастиан Герхман, главен отговорник за отговорния AI на Bloomberg, предполага, че фундаменталната архитектура и тренировъчни парадигми на LLM често не отчитат безопасността на дългите контекстуални входни данни, предоставени от RAG. Техните изследвания демонстрират пряка връзка между дължината на контекста и влошаването на безопасността, подчертавайки необходимостта от бизнес-специфични механизми за защита.

Последствия за Деплоймента на AI в Предприятия

Откритията на Bloomberg поставят значителни въпроси пред бизнеса, използващ AI системи, оборудвани с RAG. Лидери в AI и технологии като Encorp.io, известна с разработки в блокчейн и AI, трябва да преосмислят архитектурите за безопасност и да разработят доменни специфични таксономии, подходящи за регулаторните среди.

Практически Насоки

Интегрирани Системи за Безопасност: Бизнесът трябва да фокусира усилията си върху създаването на интегрирани системи за безопасност, които отчитат как съдържанието, извлечено чрез RAG, може да взаимодейства с наличните предпазни механизми на моделите.
Доменни Специфични Таксономии на Рисковете: Преминаването от общи рамки за безопасност на AI към такива, специфично насочени към бизнес притеснения, е от съществено значение за поддържане на конкурентното предимство.
Постоянни Оценки на Безопасността: Редовните упражнения за тестиране и наблюдение могат да помогнат на организациите да идентифицират навреме проблемите с безопасността и да разработят решения, съобразени с тях.

Защо Сайтовете за Доменна Специфична Защита са Необходими

Общите рамки за безопасност често пренебрегват рисковете, специфични за отделни индустрии. Вторият труд на Bloomberg, фокусиран върху финансовите услуги, илюстрира, че съществуващите системи за защита често не успяват да открият специфични рискове като финансова злоупотреба или рискове от разкриване на поверителна информация.

Казус: Финансови Услуги

Bloomberg представи специализирана AI таксономия, която да адресира тези недостатъци експлицитно. Провеждането на емпирични тестове срещу отворени модели на защитни системи разкри, че системите, които са неутрални спрямо домена, често пренебрегват специализирани рискове, свързани с финансовите услуги.

Разработка на Вашата Рамка за Безопасност

Организациите трябва да изградят рамка, която излиза извън общите модели, като акцентира върху притеснения, специфични за индустрията като целостта на данните и сигурността на транзакциите, особено във финансови и предприсъваеми среди.

Пътят Напред

Деплойментът на RAG в AI системи за предприятия изисква парадигмен промяна в това как се възприема и интегрира безопасността. Организациите трябва да приемат проактивен подход при прогнозиране на потенциалните рискове, свързани с интеграцията на RAG системи.

Приемайки стратегия, фокусирана върху контекстно осведомени, доменни специфични механизми за защита, бизнеси като Encorp.io могат да използват AI технологии безопасно и ефективно. Това балансирано интегриране не само осигурява съответствие и насърчава доверието на клиентите, но също така поставя предприятията като лидери в иновациите и спазването на безопасността.

Заключение

Сложната игра между иновациите и безопасността при въвеждането на AI подтиква бизнеса да продължава да развива стратегиите си, за да включи солидни мерки за безопасност. Докато генеративния AI се развива, разбирането на взаимодействието между RAG и LLM механизмите за безопасност става от жизненоважно значение за всяка организация, ориентирана към технологиите. Докато навигираме през тези предизвикателства, придобитите подходи ще се окажат ценни при формирането на бъдеще, в което AI подобрява, а не застрашава оперативните резултати на индустрии по целия свят.

Източници:

Статия на VentureBeat
Bloomberg Research Reports (2023)
Open RAG Eval Resources
Различни Рамки за Безопасност на AI и Публикации
Доклади на Консултативната Група по AI за Финансови Услуги

RAG и Притеснения за Безопасността на LLM

Основни Открития от Проучването на Bloomberg

Повишени Небезопасни Отговори: Проучването оценява 11 популярни LLM, включително Claude-3.5-Sonnet и GPT-4o. Шокиращо, модели, които обикновено отхвърлят вредни запитвания при стандартни условия, бяха открити да произвеждат небезопасни отговори при използване на RAG. Например, процентът на небезопасни отговори на Llama-3-8B се увеличи от 0.3% на 9.2% при въвеждането на RAG.
Заобикаляне на Механизмите за Защита: Изследването установи, че допълнителната контекстуална информация, извлечена от RAG системи, може непреднамерено да отговори на опасни запитвания, дори когато първоначално извлечените документи спазват стандартите за безопасност.
Рискове, Свързани с Определени Доменни Полета: Разследването подчертава недостатъчността на общите рамки за безопасност да решават рискови фактори, специфични за определени доменни полета, особено в сфери като финансови услуги.

Механизми зад Заобикалянето на Механизмите за Защита