Разбираемся, почему архитектура трансформера сдает позиции и какие технологии придут на смену большим языковым моделям.
Трансформеры устарели: стартапы ищут замену генеративным большим языковым моделям
Это свежий выпуск нашего ежедневного Технодайджеста — короткой сводки о том, что происходит в мире технологий. Без воды, только самое важное.
Девять лет назад исследователи из Google представили миру архитектуру трансформера. С тех пор это семейство нейросетей стало двигателем каждой крупной большой языковой модели. Но прогресс не стоит на месте, и трансформеры начинают сдавать позиции.
Чем крупнее и умнее становятся LLM, тем ощутимее трансформеры превращаются в бутылочное горлышко. Их механизм внимания требует все больше вычислительных ресурсов по мере роста объема текста, да и с удержанием большого объема информации они справляются так себе.
Хорошая новость: есть минимум четыре свежие идеи, как решить проблему трансформера. Эти инновации способны изменить генеративные большие языковые модели к лучшему — сделать их быстрее, гораздо эффективнее и, возможно, даже умнее.
Материал выходит в рамках серии What’s Next от MIT Technology Review, которая изучает тренды и технологии, чтобы дать читателям возможность первыми заглянуть в будущее.
Профессора ИИ осваиваются в новых реалиях академической науки
На прошлой неделе я отправился в отель в Маунтин-Вью, Калифорния, чтобы встретиться с самыми титулованными и самыми перспективными исследователями ИИ в мире. Я модерировал круглые столы и выступал на медиа-тренинге в рамках программы Schmidt Sciences AI2050 — инициативы, финансируемой Эриком и Венди Шмидт и поддерживающей ученых, чья работа связана с искусственным интеллектом.
Список стипендиатов — это настоящий «кто есть кто» в мире ИИ. И хотя не все добрались до Залива, за каждым углом я сталкивался с ученым, у которого брал интервью ранее или чьими работами восхищался. Сейчас странное время для университетских исследователей ИИ, которые составляют большинство группы AI2050. Именно об этом моя история — о том, почему им непросто и что ждет их дальше.
Обязательное к прочтению
Я прошерстил интернет, чтобы собрать для вас самые интересные, важные и пугающие истории о технологиях за сегодня.
1. Nvidia привлекла 500 миллиардов долларов на ИИ-инфраструктуру
Компания заключила сделки с BlackRock, Goldman Sachs и еще четырьмя финансовыми гигантами. Это наглядно демонстрирует привлекательность ИИ-вычислений для институциональных инвесторов. ИИ-инфраструктура уверенно становится новым классом активов.
2. Новый манифест Марка Цукерберга: открытый ИИ спасет Америку
В документе представлена утопическая картина персонализированной «суперинтеллектуальности». Манифест вышел в один день с новой открытой моделью Meta*. Цукерберг уже заявил, что планирует выпускать больше таких моделей. Кстати, это ставит Meta* в прямую конкуренцию с китайскими разработчиками открытых моделей.
3. Берни Сандерс призвал Кремниевую долину «поставить ИИ на паузу»
Сенатор напомнил, что гиганты ИИ обещали остановить разработки, если это потребуется для безопасности. Он предупредил: если ничего не изменится, в дело вмешаются законодатели. Демократы в Палате представителей уже давят на лидеров ИИ из-за неконтролируемых моделей. Популистская волна против ИИ нарастает.
4. Суд США разрешил тысячам исков против соцсетей идти вперед
Иски направлены против аддиктивных механизмов, используемых Meta*, TikTok, Google и Snapchat. Истцы утверждают, что платформы спроектированы так, чтобы подсаживать молодых пользователей на крючок. Остается вопрос: а можно ли вообще починить интернет?
5. IPO Unitree переподписано в 8000 раз
Китайская компания по производству человекоподобных роботов привлекла 900 миллионов долларов перед листингом. Оценка на Шанхайской бирже — 9 миллиардов долларов. Розничные инвесторы в очереди с ночи.
6. Камеры Flock для отслеживания автомобилей встретили двупартийную критику
Сеть слежения стремительно расползлась по всей Америке. Вдобавок Flock планирует ловить магазинных воров дронами. Гражданские свободы, ау.
7. Китай разрывает отношения с ИИ
Пекин ввел новые правила для эмоционально интерактивного искусственного интеллекта. И это неудивительно: влюбиться в чат-бота, оказывается, до смешного легко.
8. ИИ-инструмент обещает отбирать лучший 1% научных статей
Правда, исследователи сомневаются, что алгоритмы способны надежно оценивать научное качество. Разумный скепсис.
9. Борьба с ИИ-мусором приносит плоды
Давление аудитории заставляет платформы ограничивать генеративный контент. Наконец-то.
10. 82-летняя фермерша отказалась от 26 миллионов долларов за центр обработки данных
Она раскритиковала экологические последствия дата-центров. Вот это принципиальность.
Цитата дня
«Еще не поздно избежать катастрофы. Перестаньте создавать машины, которые люди не могут контролировать».
— Сенатор Берни Сандерс призывает Сэма Альтмана, Дарио Амодеи и Марка Цукерберга остановить разработку ИИ в открытом письме.
Еще кое-что: гонка за идеальным ребенком оборачивается этическим кошмаром
Новая область науки использует генетическое секвенирование, чтобы предсказать, каким человеком может стать эмбрион. Одни родители обращаются к таким тестам, чтобы избежать тяжелых генетических заболеваний. Другая, куда меньшая группа, готова выложить десятки тысяч долларов за «оптимизацию» интеллекта, внешности и личностных черт.
Вот только клиенты, похоже, не получают того, за что платят. Эксперты по генетике годами указывают на недостатки такого тестирования. А лежащие в его основе допущения сделали эти компании политической мишенью.
Пока технология движется к мейнстриму, ученые и этики пытаются осмыслить последствия — для нашего общественного договора, для будущих поколений и для самого понимания того, что значит быть человеком.
У нас еще могут быть хорошие вещи
Место для уюта, веселья и отвлечения от новостей.
+ Зоркая бордер-колли вывела игру в мяч на совершенно новый уровень — теперь в воде.
+ Проект musicForprogramming предпринял смелую попытку создать идеальные треки для глубокой концентрации.
+ Когда дети проектируют игровые площадки, получается жизнерадостный микс из гигантских шахмат, розовых баскетбольных площадок и лавы.
+ Пауэр-метал версия саундтрека «Назад в будущее» — эпичное переосмысление классической темы.
Технологии несутся вперед с бешеной скоростью, и сегодняшний день — лишнее тому подтверждение: от попыток похоронить трансформеры до споров о том, кто должен контролировать ИИ. Завтра будет еще интереснее.