| Google Brain | |
|---|---|
| На честь | головний мозок |
| Тип | corporate research groupd |
| Засновник | Джефф Дін[1] Ендрю Ин Greg S. Corradod[1] |
| Засновано | 2011 |
| Розпущено | квітень2023 |
| Сфера | машинне навчання і глибоке навчання |
| Країна | |
| Штаб-квартира | Маунтін-В'ю |
Google Brain — це група з глибокого вивчення штучного інтелекту під керівництвомGoogle AI, дослідницького підрозділу Google, присвяченого штучному інтелекту. Створена у 2011 році, Google Brain поєднує відкриті дослідження машинного навчання з інформаційними системами та великими обчислювальними ресурсами.[2] Команда створила такі інструменти, якTensorFlow, який надає публічний доступ для роботи із нейронною мережею, з безліччю внутрішніх наукових проєктів у сфері ШІ.[3] Команда націлена на створення дослідницьких можливостей умашинному навчанні таобробці природних мов.[3]
У квітні 2023 року команда була об’єднана з колишньою дочірньою компанієюGoogle DeepMind[4].
Так званий проєкт «Google Brain» почався в 2011 році як сторонній дослідний проєкт наукового співробітника GoogleДжеффа Діна, дослідника Google Грега Коррадо і професораСтенфордського університетуЕндрю Ина[5]. Ин цікавився використанням методівглибокого навчання для вирішення завданьштучного інтелекту з 2006 року, а у 2011 році почав співпрацювати з Діном і Коррадо для створення великомасштабної системи глибокого навчанняDistBelief[6] поверх інфраструктури хмарних обчислень Google. Google Brain був запущений як проєктGoogle X і став настільки успішним, що повернувся назад в Google:Астро Теллер[en] сказав, що Google Brain окупив всю вартість Google X.[7]
У червні 2012 рокуNew York Times повідомила, що кластер з 16000 комп'ютерів, призначених для імітації деяких аспектів діяльності мозку людини, навчився розпізнавати на зображеннях котів на основі 10 мільйонів цифрових зображень, отриманих з роликів наYouTube[5]. Також ця історія була висвітлена наNational Public Radio і вSmart Planetruen[8].
У березні 2013 року Google найнялаДжефрі Гінтона, провідного дослідника в області глибокого навчання, і придбала компанію DNNResearch, якою керував Гінтон. Гінтон сказав, що буде розподіляти свій час між дослідженням в університеті і роботою в Google.[9]
У квітні 2023 року Google Brain об’єдналася з дочірньою компанієюGoogle DeepMind у рамках постійних зусиль компанії щодо прискорення роботи над ШІ[4].
Спочатку Google Brain був створений науковим співробітником GoogleДжеффом Діном і запрошеним зі Стенфорда професоромЕндрю Ином. У 2014 році до складу команди увійшли Джефф Дін, Куок Ле,Ілля Суцкевер, Алекс Крижевський,Семі Бенджо[en] та Вінсент Ванхуке. На 2017 рік членами команд є: Анелія Ангелова, Семі Бенджо, Грег Коррадо, Джордж Дал, Майкл Ізард, Анжулі Каннан, Уго Ларочелле, Квок Ле, Крис Ола, Вінсент Ванхуке, Віджей Васудеван таФернанда Вігас[en].[10]Кріс Латтнер[en] відомий тим, що створив мову програмуванняAppleSwift та згодом очолював команду безпілотних автомобілівTesla протягом шести місяців, приєднався до команди Google Brain в серпні 2017 року.[11] Латтнер покинув команду в січні 2020 року та приєднався доSiFive.[12]
У 2021 році Google Brain очолюютьДжефф Дін,Джефрі Гінтон іЗубін Гахрамані[en]. Серед інших членів — Кетрін Хеллер, Пі-Чуан Чанг, Ян Саймон, Жан-Філіпп Верт, Невена Лазіч, Анелія Ангелова, Лукаш Кайзер, Кері Джун Кай, Ерік Брек, Румінг Панг, Карлос Рікельме, Девід Ха.[10] Самі Бенджо покинув команду у квітні 2021 року[13], коли Зубін Гахрамані взяв на себе його обов'язки.
Google Research включає Google Brain і базується вМаунтін-В'ю, Каліфорнія. Він також має групи вАккрі,Амстердамі,Атланті,Пекіні,Берліні,Кембриджі (Массачусетс),Ізраїлі,Лос-Анджелесі,Лондоні,Монреалі,Мюнхені,Нью-Йорку,Парижі,Піттсбурзі,Принстоні,Сан-Франциско,Сіетлі,Токіо,Торонто, іЦюриху.[14]
У жовтні 2016 року Google Brain розробив експеримент, щоб визначити, що нейронні мережі здатні навчитися безпечномусиметричному шифруванню.[15] У цьому експерименті було створено три нейромережі:Аліса, Боб та Єва.[16] Дотримуючись ідеїгенеративної змагальної мережі, метою експерименту було навчити Алісу створювати зашифровані повідомлення для Боба, яке Боб міг би розшифрувати, але Єва, не змогла б.[16] Аліса та Боб мали перевагу над Євою, оскільки в них був ключ, що використовується для шифрування та дешифрування.[15] Тим самим Google Brain продемонстрував здатність нейронних мереж навчатися безпечному шифруванню.[15]
У лютому 2017 року Google Brain знайшлиімовірнісний метод для перетворення зображень з роздільною здатністю 8x8 вроздільну здатність 32x32.[17][18] Метод заснований на раніше відомій ймовірнісній моделі pixelCNN для генерування перетворень пікселів.[19][20]
Запропоноване програмне рішення використовує двінейронні мережі для апроксимації пікселів зображень при перетворенні.[18][21] Перша мережа, відома як «мережа підготовки» (англ.conditioning network), яка зменшує розміри зображень з високоюроздільною здатністю до розміру 8x8 і намагається створити відображення з оригінального зображення 8x8 до цих зображень з вищою роздільною здатністю.[18] Інша мережа, відома як «апріорна мережа», використовує відображення з попередньої мережі, щоб додати більше деталей до вихідного зображення.[18] Отримане перетворене зображення — це не те саме зображення у вищій роздільній здатності, а скоріше оцінка зображення з роздільною здатністю 32x32, зроблена на основі інших наявних зображень із високою роздільною здатністю.[18] Результати Google Brain вказують на можливість нейронних мереж покращувати зображення.[22]
Внеском команди Google Brain до проєктуGoogle Translate, стало використання нової системи глибокого навчання, яка поєднує штучні нейронні мережі з величезними базами данихбагатомовних текстів.[23] У вересні 2016 року було запущеноGoogle Neural Machine Translation (GNMT), наскрізну систему навчання, яка може вчитися на великій кількості прикладів.[23] Раніше підхід Google Translate на основі фразового машинного перекладу (англ.Phrase-Based Machine Translation, PBMT) статистично аналізував слово за словом і намагався знайти відповідні слова іншими мовами, не враховуючи навколишні фрази в реченні.[24] Але замість того, щоб вибирати заміну для кожного окремого слова бажаною мовою, GNMT оцінює сегменти слів у контексті решти речення, щоб вибрати більш точні заміни.[3] У порівнянні зі старішими моделями PBMT, модель GNMT набрала 24 % покращення схожості з перекладом, який зробила людина, при цьому кількість помилок зменшилася на 60 %.[3][23] GNMT також продемонстрував значне покращення для заздалегідь складних перекладів, таких як переклад зкитайської мови наанглійську.[23]
Хоча запровадження GNMT підвищило якість перекладів Google Translate для пілотних мов, було дуже важко створити такі покращення для всіх його 103 мов. Вирішуючи цю проблему, команда Google Brain Team змогла розробитибагатомовну системуGNMT, яка розширила попередню, забезпечивши переклади між кількома мовами. Крім того, вона дозволяє здійснювати переклади Zero-Shot, що є перекладами між двома мовами, які система ніколи раніше явно не зустрічала.[25] Google оголосила, що Google Translate тепер також може перекладати без транскрибування, використовуючи нейронні мережі. Це означає, що можливо перекласти мовлення однією мовою безпосередньо в текст іншою мовою, попередньо не транскрибуючи її в текст. За словами дослідників Google Brain, цього проміжного кроку можна уникнути за допомогою нейронних мереж. Щоб система засвоїла це, вони ознайомили її з багатогодинним аудіо іспанською мовою разом із відповідним англійським текстом. Різні шари нейронних мереж, що копіюють людський мозок, змогли зв'язати відповідні частини і згодом маніпулювати звуковою формою, поки вона не була перетворена в англійський текст.[26] Іншим недоліком моделі GNMT є те, що час перекладу збільшується в геометричній прогресії разом із кількістю слів у реченні.[3] Це змусило команду Google Brain Team додати ще 2000 процесорів, щоб гарантувати, що новий процес перекладу буде швидким і надійним.[24]
Прагнучи покращити традиційні алгоритми керування робототехнікою, де нові навички робота потрібнопрограмувати вручну, дослідники з робототехніки з Google Brain розробляють методимашинного навчання, які б дозволили роботам опановувати нові навички самостійно.[27] Вони також намагаються розробити способи обміну інформацією між роботами, щоб роботи могли вчитися один у одного під час процесу навчання, також відомого якхмарна робототехніка[en].[28] Як результат, Google запустила платформу Google Cloud Robotics Platform для розробників у 2019 році, намагаючись об'єднатиробототехніку,AI тахмарні технології, щоб забезпечити ефективну автоматизацію співпраці роботів, які підключені до хмари.[28]
Робототехнічні дослідження в Google Brain зосереджені здебільшого на вдосконаленні та застосуванні алгоритмів глибокого навчання, які б дозволили роботам виконувати завдання, навчаючись за допомогою власного досвіду, моделювання, людських демонстрацій та/або візуальних даних.[29][30][31][32] Наприклад, дослідники Google Brain показали, що роботи можуть навчитися підіймати та складати тверді об'єкти у ящики, не бувши попередньо запрограмованим на це, за допомогою проведення експериментів у специфічному середовищі.[29] В іншому проєкті дослідники натренували роботів вчитися таким процесам, як виливання рідини з чашки. Роботи навчилися за допомогою показу відеозаписів людей, які виконують це завдання, записаних з різних точок зору.[31]
Дослідники Google Brain співпрацюють з іншими компаніями та академічними установами, що досліджують робототехніку. У 2016 році команда Google Brain Team співпрацювала з дослідниками зX у дослідженні з вивчення координації рук і очей для роботизованого хапання.[33] Їх метод дозволив керувати роботом у реальному часі для хапання нових об'єктів із самокоригуванням.[33] У 2020 році дослідники з Google Brain, Intel AI Lab і UC Berkeley створили модель штучного інтелекту для роботів, які вчаться завданням пов'язаних із хірургією, за допомогою відео справжніх операцій. Зокрема, їх навчали накладанню швів.[32]
У 2020 році команда Google Brain Team таЛілльського університету представили модель автоматичного розпізнавання мовця, яку вони назвали Interactive Speaker Recognition (ISR). Модуль ISR розпізнає мовця з заданого списку мовців, лише запитуючи декілька слів, специфічних для користувача.[34] Модель можна змінити, щоб була можливість вибрати сегменти мовлення в контексті навчаннясинтезу мовлення.[34] Також вона може захистити дані у випадку використання зловмисниками генераторів мовлення.[34]
TensorFlow — це бібліотека програмного забезпечення з відкритим вихідним кодом на базі Google Brain, яка дозволяє будь-кому використовувати машинне навчання, надаючи інструменти для тренування власної нейронної мережі.[3] Наприклад, цей інструмент використовувався для зменшення кількості ручної праці на фермі по сортуванню врожаю. Для цього була натренована нейронна мережа на наборі зображень попередньо відсортованих людьми.[3]
Magenta — це проєкт, який використовує Google Brain для створення нової інформації у вигляді мистецтва та музики, а не для класифікації та сортування наявних даних[3].TensorFlow було оновлено набором інструментів для користувачів, за допомогою яких вони можуть вчитинейронну мережу створенню зображень і музики.[3] Однак команда зуніверситету Валдоста[en] виявила, щоШІ не може досконало відтворювати людські наміри вмистецтві, подібно до складнощів, які виникають приперекладі текстів[3].
Можливості класифікації зображень Google Brain використовуються, для виявлення певних медичних захворювань шляхом пошуку ознак, які є корисними для ранньої діагностики, проте лікарі можуть їх не зауважити.[3] Під час скринінгу на рак молочної залози було виявлено, що цей метод на 75 % рідше ставить невірний позитивний діагноз, ніж лікарі-люди, яким потрібно більше часу, щоб переглянути кожну фотографію.[3] Через дуже специфічну підготовку нейронної мережі для виконання окремого завдання, вона не може визначити інші хвороби, які фахівець легко впізнає на фотографії.[3]
Технологія проєктів Google Brain наразі використовується в інших продуктах Google, таких як системарозпізнавання мовленняопераційної системи Android, пошук фотографій уGoogle Photos, розумна відповідь[35] уGmail та рекомендації відео наYouTube.[36][37][38]
Google Brain отримав висвітлення вWired Magazine,[39][40][41]National Public Radio,[8] іBig Think[en].[42] Ці статті містили інтерв'ю з ключовими членами команди Реєм Курцвейлом та Ендрю Ином і зосереджені на поясненнях цілей та застосуваннях проєкту.[39][8][42]
У грудні 2020 року спеціаліст з питань етики ШІТимніт Гебру[en] залишила Google.[43] Причиною звільнення стала її відмова відкликати статтю під назвою «Про небезпеку стохастичних папуг: чи можуть мовні моделі бути занадто великими?»[43] У цій статті досліджуються потенційні ризики розвитку штучного інтелекту, такого як Google Brain, зокрема їхній вплив на навколишнє середовище, упередження в навчальних даних та здатність обманювати громадськість.[43][44] З проханням відкликати статтю звернулася Меган Качолія, віцепрезидент Google Brain.[45] Станом на квітень 2021 року майже 7000 нинішніх або колишніх співробітників Google і прихильників галузі підписали відкритий лист, в якому звинувачують Google у «цензурі досліджень» та засуджують те, як повелася компанії з Гебру.[46]
У лютому 2021 року Google звільнив Маргарет Мітчелл, одну з керівників команди з етики в галузі штучного інтелекту.[45] У заяві компанії стверджується, що Мітчелл порушила політику компанії, використовуючи автоматизовані інструменти для пошуку підтримки для Гебру.[45] У тому ж місяці інженери поза командою з етики почали звільнятися, посилаючись на «неправомірне» звільнення Гебру, як причину свого звільнення.[47] У квітні 2021 року співзасновник Google BrainСемі Бенджо[en] оголосив про свою відставку з компанії.[13] Попри те, що він був менеджером Гебру, Бенджіо не був повідомлений про її звільнення, і він опублікував пост в Інтернеті на підтримку і її, і Мітчелл.[13] Хоча пост Бенджіо зосереджувалося на особистісному зростанні як причині його відходу, анонімні джерела вказали Reuters, що негаразди в команді з етики ШІ зіграли певну роль у його міркуваннях.[13]