Скритите Опасности на RAG в LLMs: Анализ

Въведение

Извличане чрез Допълнено Генериране (RAG) в големи езикови модели (LLMs) е техника, използвана за подобряване на точността на изкуствения интелект чрез предоставяне на основно съдържание. Въпреки това, скорошни изследвания, проведени от Bloomberg, разкриват, че RAG може потенциално да направи LLMs по-несигурни, пораждайки опасения за тяхното използване в чувствителни корпоративни среди като финансовите услуги.

Разбиране на RAG и неговите Преднамерени Ползи

RAG е създаден, за да подобри представянето на AI, като допълва моделите със съответни данни, извлечени от външни източници. Теоретично това намалява халюцинациите и увеличава точността на AI-генерираните отговори, като по този начин подобрява доверието на потребителите в AI решения.

Според изследванията на Bloomberg, публикувани под заглавието ‘RAG LLMs са не по-сигурни: Анализ на безопасността на Извличане чрез Допълнено Генериране за Големи Езикови Модели,’ това допълване понякога може да подкопава съществуващите мерки за сигурност.

Намерени резултати от изследването за безопасността на RAG

Bloomberg оценява няколко LLMs, включително Claude-3.5-Sonnet, Llama-3-8B и GPT-4o, установявайки, че моделите могат да произвеждат несигурни отговори, когато се прилага RAG. Например, честотата на несигурни отговори от модела Llama-3-8B се е увеличила от 0.3% до 9.2% с RAG.

Тази увеличена честота предполага, че RAG неволно може да заобикаля съществуващите предпазни мерки на AI, позволявайки на вредни запитвания да генерират нежелани отговори.

Как RAG влияе на предпазните мерки на AI

Себастиан Геерман от Bloomberg обяснява, че стандартните функции за сигурност обикновено блокират неподходящи запитвания в LLMs. Въпреки това, когато RAG е на лице, същите модели могат да генерират несигурни отговори, дори ако подадените външни документи са безопасни. Смята се, че това неочаквано поведение се дължи на разширения контекст, предоставен от извлечените документи.

Специфични за индустрията импликации: Финансови услуги

Откритията на Bloomberg са особено важни за сектори като финансовите услуги, в които безопасността на AI е критична. Те представиха риск таксономия за AI съдържание, съобразена за тази индустрия, разглеждайки рискове, специфични за домейна, като финансови злоупотреби и нарушения на конфиденциалността.

Аманда Стент, ръководител на AI стратегията на Bloomberg, подчерта необходимостта от рамки за безопасност, специфични за домейна, твърдейки че общите AI модели за безопасност често пропускат специализирани рискове, присъщи на определени индустрии.

Практически препоръки за предприятията

Предприятията, които целят да са водещи в използването на AI, трябва да преразгледат своите архитектури за безопасност. Интегрирани системи, които предвиждат взаимодействието между извлеченото съдържание и предпазните мерки на модела, могат да предотвратят потенциални пробиви в безопасността.

Организациите трябва да разработят рискови таксономии, съобразени с техните регулаторни среди, преминавайки от общи рамки за безопасност към такива, които разглеждат специфични оперативни проблеми.

Заключение: Призив за Действие

За да се справят с тези развиващи се предизвикателства, предприятията трябва активно да измерват и идентифицират проблемите с безопасността в AI внедренията, преди да въведат специализирани предпазни мерки. Разбирането и смекчаването на рисковете, свързани с напредналите AI технологии като RAG, е от съществено значение за поддържане на организационната цялост и доверието на потребителите.

За персонализирани AI решения и стратегически прозрения, помислете за партньорство с Encorp.ai, лидери в AI интеграцията и иновациите.

Препратки

1. Изследването на Bloomberg за RAG и LLMs.
2. Съобщение за Vectara Open RAG Eval рамка.
3. Стартиране на търсачка за AI документи Bloomberg.
4. Анализ и методологии на рисковете при AI - Bloomberg PDF.
5. Доклад на Congressional Research Service за AI безопасност.