За първи път: Учени пресъздадоха песен по сигнали на човешкия мозък
Американски учени са разработили метод, който позволява да се използват данни от интракраниални електроенцефалографи за реконструиране и възпроизвеждане на песни, които човек е слушал наскоро. Откритието ще ускори създаването на системи, способни да "четат" емоциите и интонациите на речта на хора с увреждания, съобщиха от пресслужбата на Калифорнийския университет в Бъркли. Изследването е публикувано в списание PLoS Biology.
"Изненадващите резултати от нашите експерименти ще помогнат новите невронни интерфейси за хора с амиотрофична латерална склероза и такива, които са загубили способността си да говорят самостоятелно, да станат по-музикални и естествени. Тези устройства ще могат да разчитат не само лингвистичното съдържание на мислите, но и интонациите и емоциите", казва професор Робърт Найт от Калифорнийския университет в Бъркли.
През последните години учените създадоха десетки невронни интерфейси, които трансформират мозъчната активност на пациентите в устна или писмена реч. Най-успешните от тези разработки позволяват на хора с увреждания и неми да общуват с помощта на системи за синтез на реч, но те не им позволяват да предават емоции и интонации.
Учените направиха крачка към решаването на този проблем, докато наблюдаваха мозъците на 29 пациенти с епилепсия, подготвящи се за операция на зоните на пристъпите. За да се открият тези зони, в мозъците на пациентите са имплантирани електроди, което позволява на учените да наблюдават промените в мозъчната активност в отговор на различни сигнали. Общо на всеки участник са имплантирани над 2500 микроелектрода.
Да „подслушаш“ музиката в мозъка
Учените искали да разберат дали може да използват тези данни за декодиране на речта и музиката, които човек слуша. За целта те предложили на доброволците да изслушат запис на песента "Another Brick in the Wall, Part 1" на „Пинк Флойд“, проследили промените в активността на различните области в мозъка, включително горния темпорален гирус, който отговаря за обработката на речта и други аудиосигнали.
www.istockphoto.com
Учените съпоставили получените данни с това какви ноти, акорди и гласови звуци са звучали във всеки момент от промените в мозъчната активност. Анализът показал, че сигналите от горния темпорален гирус като цяло се „синхронизирали“ със звученето на композицията.
След това изследователите разработили система за машинно обучение, която може почти напълно да възстанови песента, която е била изслушана, като използва данни от 346 електрода, свързани с горния темпорален гирус и свързаните с него области на мозъка. По този начин учените установили, че звуците, които човек е слушал, могат да бъдат чути и разбрани дори ако за реконструкцията се използват данни само от 40 електрода.
Последващият анализ на сигналите, дал възможност да се идентифицират специфични групи неврони и области в мозъка, са отговорни за възприемането на ритъм, различни музикални инструменти, гласове на хора и високи и ниски звуци. По-нататъшното изследване на тези области на мозъка ще направи възможно създаването на ново поколение невронни интерфейси, способни да разчитат не само мислите, но и емоциите и интонацията на речта.
