Разбиране на запаметяването в LLM: Какво означава това за развитието на ИИ

С напредъка на ИИ технологиите, особено в областта на големите езикови модели (LLM), въпросът колко тези модели запаметяват спрямо това колко обобщават има дълбоки последици. Скорошно изследване, проведено от изследователи от Meta, Google, Nvidia и университета Корнел, предоставя нови прозрения по темата, разкривайки, че LLM имат фиксиран капацитет за запаметяване от приблизително 3.6 бита на параметър.

Ключови находки за капацитета на запаметяване

LLM, които включват модели като GPT-3 и Gemini на Google, развиват разбиране за езика чрез обработка на трилиони думи от различни източници на данни. Въпреки това, степента, в която тези модели запаметяват обучителните си данни, е предмет на дебат. Изследването установи, че моделите в стил GPT имат постоянен капацитет за запаметяване, което е важна статистика както за изследователите в областта на ИИ, така и за правните субекти.

• Капацитет на запаметяване: Моделите имат фиксиран капацитет от около 3.6 бита на параметър, което показва ограничено запаметяване в сравнение с обобщаването.
• Разпределение на данните: Повече обучителни данни не увеличават запаметяването, а разпределят фиксирания капацитет върху набора от данни, намалявайки фокуса върху отделни точки от данни.

Последици от намаленото запаметяване

Находките са значителни по няколко причини:

• Проблеми с авторските права: Съдилищата може да са по-склонни да подкрепят разработчиците на ИИ в дела за авторски права, ако се докаже, че моделите обобщават, вместо да запаметяват данни.
• Поверителност и сигурност: Фиксираният лимит за запаметяване предполага, че отделните точки от данни е по-малко вероятно да бъдат запаметени, което облекчава някои притеснения за поверителността.

Методология

Изследователите обучаваха трансформаторни модели върху набори от данни, състоящи се от произволно генерирани битови низове. Този подход помогна да се разграничи запаметяването от обобщаването, тъй като в чисто шумови данни нямаше шаблон за обобщаване.

• Произволни битови низове: Използването на уникални набори от данни гарантираше, че всеки успех в реконструкцията на данните показва запаметяване.
• Тестване на модели: При модели с размери от 500 хиляди до 1.5 милиарда параметри, капацитетът за запаметяване оставаше постоянен на 3.6 бита на параметър.

Обобщаване срещу запаметяване

Когато се обучават върху реални данни, LLM показват баланс между запаметяване и обобщаване, като се насочват към обобщаване с увеличаване размера на набора от данни. Този преход съответства на феномена „двойно спускане“, при който моделите първоначално се затрудняват, преди да се подобрят с повече данни.

Перспективи на индустрията

• Мащабируемост и сигурност: По-големите набори от данни намаляват риска от запаметяване на уникални данни; въпреки това, крайните случаи с уникални модели все още могат да представляват предизвикателства.
• Нива на прецизност: Разлики в капацитета за запаметяване бяха наблюдавани между 16-битова и 32-битова прецизност на плаваща запетая, макар и с намаляваща възвръщаемост.

Заключение

За компании като Encorp.ai, тези прозрения подчертават важността на балансирането на количествата данни и архитектурата на модела, за да се максимизира обобщаването и минимизира запаметяването. Придържайки се към тези принципи, разработчиците могат да създадат ИИ системи, които са едновременно ефективни и съобразени с нововъзникващите правни и етични стандарти.

Референции

1. Научна статия от Meta, Google DeepMind, университета Корнел и NVIDIA: arXiv:2505.24832
2. Morris, J., и др. Дискусия за запаметяването и ИИ. Достъпно на X (преди известен като Twitter)
3. Документация за API на OpenAI: OpenAI API
4. Блог за ИИ на Google: Google AI
5. Изследвания за ИИ на Nvidia: NVIDIA AI Solutions