ладонь
- Языковая модель PaLM разработана Google AI и имеет 540 миллиардов параметров.
- Исследователи обучили уменьшенные версии модели PaLM с 8 и 62 миллиардами параметров для проверки влияния масштаба модели.
- PaLM способна выполнять широкий спектр задач, включая рассуждения на основе здравого смысла, арифметические рассуждения и генерацию кода.
- PaLM добилась более высокой производительности при работе с наборами данных, требующими многоэтапного анализа.
- Модель была анонсирована в апреле 2022 года и стала доступна через API в марте 2023 года.
- Google и DeepMind разработали версию PaLM 540B, оптимизированную для работы с медицинскими данными.
- PaLM расширила свои возможности, используя vision transformer для создания модели языка визуализации.
- Google анонсировала PaLM 2 с 340 миллиардами параметров и AudioPaLM для перевода речи в речь.
- PaLM предварительно обучена на высококачественном корпусе из 780 миллиардов токенов.
Полный текст статьи: