Локальные ИИ-модели искали научные статьи: Mac Studio и A100 сравнили
Исследователи проверили, могут ли открытые модели на собственном оборудовании искать научные статьи в сети. Работа опубликована на arXiv.
Научным командам, которые хотят искать литературу без облачных сервисов, результат зависит от модели и точности запроса.
A100 быстрее, но Mac Studio вмещает модели крупнее
Авторы измеряли задержку ответа, пока входной контекст рос с 512 до 128 тысяч токенов. Контекст — объём текста, который модель получает за раз, токен — его часть. Тесты шли на Mac Studio и на сервере с двумя графическими ускорителями NVIDIA A100.
Затем восемь моделей искали 70 статей в семи научных репозиториях. Запросы отражали три уровня знания предметной области. Успех поиска сильно зависел от модели и от конкретности запроса.
A100 в целом быстрее. Зато единая память Mac Studio позволила загрузить более крупные модели, которые не поместились в проверенную конфигурацию с GPU.
Что делать
Пока ничего: дождитесь данных о моделях и результатах или прочитайте полный текст исследования перед выбором.
Чего пока неизвестно
В аннотации нет названий моделей и численных результатов поиска.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:Локальные модели