(146) Hizkuntzetarako neurona espezifikoak LLMetan?

Laburpena

Hizkuntza Eredu Handiak (LLM) adimen artifiziala irauli duten milaka milioi parametroko neurona-sareak dira. Ikerketa honetan LLMen hizkuntza jakinetarako neurona espezifikoak aztertzen dira, euskaran fokua ezarriz. Hizkuntza Aktibaziorako Probabilitate Entropia (LAPE) metrika erabiliz, Llama-3.1-8B ereduko eta euskarara egokitutako aldaerako (Llama-eus-8B) euskara, frantses, gaztelera eta ingeles hizkuntzetan espezializatutako neuronak identifikatzen ditugu. Esperimentuetan ikusten da neurona espezifikoak ereduaren kanpoaldeko geruzetan pilatzen direla gehienbat, eta euskarak dituela neurona espezifiko gehien. Perplexity-a erabiliz egindako analisiak erakusten du neurona horiek desaktibatzeak eragin berezia duela helburuko hizkuntzan ereduko hizkuntza nagusia ez den kasuetan, neuronen espezifikotasuna baieztatuz. Aurkikuntza horiek horrelako ereduak beste hizkuntzetara egokitzearen eta neurona espezializatuen arteko erlazioa erakusten dute, eta LLMak baliabide urriko hizkuntzetara era optimoan egokitzeko bideei buruzko informazioa ematen dute.