Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Локальные ИИ-модели искали научные статьи: Mac Studio и A100 сравнили

Исследователи проверили, могут ли открытые модели на собственном оборудовании искать научные статьи в сети. Работа опубликована на arXiv.

Научным командам, которые хотят искать литературу без облачных сервисов, результат зависит от модели и точности запроса.

A100 быстрее, но Mac Studio вмещает модели крупнее

Авторы измеряли задержку ответа, пока входной контекст рос с 512 до 128 тысяч токенов. Контекст — объём текста, который модель получает за раз, токен — его часть. Тесты шли на Mac Studio и на сервере с двумя графическими ускорителями NVIDIA A100.

Затем восемь моделей искали 70 статей в семи научных репозиториях. Запросы отражали три уровня знания предметной области. Успех поиска сильно зависел от модели и от конкретности запроса.

A100 в целом быстрее. Зато единая память Mac Studio позволила загрузить более крупные модели, которые не поместились в проверенную конфигурацию с GPU.

Что делать

Пока ничего: дождитесь данных о моделях и результатах или прочитайте полный текст исследования перед выбором.

Чего пока неизвестно

В аннотации нет названий моделей и численных результатов поиска.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:Локальные модели

Ещё по теме