ИИ-неделя 19–23 октября: llama.cpp на GPU, суды против галлюцинаций и OpenRouter вместо MMLU

ИИ-неделя 19–23 октября: llama.cpp на GPU, суды против галлюцинаций и OpenRouter вместо MMLU

Эта неделя прошла под знаком двух сдвигов, и оба важнее отдельных релизов. Локальный запуск окончательно перестал быть экспериментом: шесть материалов подряд объясняют, что модель на своём железе стартует не «если повезёт», а по расчёту памяти и формату весов. А судебная практика сразу в шести сюжетах показала, как система обходится с ИИ, когда тот ошибается, — от штрафа компании за выдуманные нейросетью факты до границ доказывания в споре с голливудскими студиями.

Под этими двумя линиями прошло всё остальное: рейтинги моделей окончательно отказались от единого балла в пользу замера под задачу, а научные работы недели аккуратно отделили «агенты стали лучше» от «агенты стали понимать». Ниже — главное за пять рабочих дней, с цифрами и ссылками на первоисточники. Материал для тех, кто выбирает модель, считает бюджет на инференс или отвечает в компании за то, что делает их ИИ-инструмент.

В этой статье:
У этой недели два центра тяжести, и оба про взросление технологии. С одной стороны, локальный запуск окончательно стал инженерной дисциплиной: шесть материалов подряд объясняют, что модель на своём железе запускается не «если повезёт», а по расчёту памяти и квантованию. С другой — сразу несколько судебных сюжетов показали, как практика обходится с ИИ, когда тот ошибается.
Ниже — главное за пять рабочих дней, с числами и ссылками на первоисточники.

Локальный запуск перестал быть хобби

Начнём с арифметики, потому что именно она определяет результат

Бюджет видеопамяти считается от формата весов, а не от числа параметров:

  • модель на 7–8 млрд в FP16 занимает 14–16 ГБ,
  • в восьмибитном квантовании около 8 ГБ,
  • в четырёхбитном — 4–5 ГБ.

Сверху укладываются KV-кэш под длину контекста и служебный запас в 0,5–1,5 ГБ на драйвер и графику рабочего стола. Именно поэтому карта на 8 ГБ закрывает повседневные сценарии, а 16 ГБ нужны не «на вырост», а под конкретные модели (разбор по VRAM).

Второй слой — выбор движка

Ollama хорош там, где нужен предсказуемый старт:

  • одна команда,
  • автоматическая выгрузка бездействующих моделей,
  • контроль жизненного цикла.
llama.cpp даёт доступ к внутренностям — числу слоёв на GPU, размеру батча, KV-кэшу, поэтому именно там решается, получите вы десятки токенов в секунду или полтора (сравнение движков).

Практика недели добавила к этому два сценария: GGUF-модель можно поднять локально одной командой через Ollama с Hugging Face (инструкция) и выставить llama.cpp на сервере как OpenAI-совместимый API, чтобы существующий код работал без переписывания (серверный вариант).

Рабочее железо больше не обязано включать видеокарту

Появился подробный гайд по запуску моделей на процессоре — медленнее, но без дискретного ускорителя вообще (запуск на CPU). Ограничение честно названо в самом материале: скорость считается по факту вашими токенами в секунду, а не по обещаниям из спецификаций. Что из моделей влезает в какую видеокарту — мы собрали в хабе «Запуск LLM локально».

Суды переложили ответственность на организации

Судебные сюжеты недели складываются в один вывод: инструмент не субъект, отвечает тот, кто его применил. В первом деле штраф за факты, выдуманные нейросетью в процессуальном документе, получила компания, а не юрист, который этот документ готовил, — то есть риски за галлюцинации распределяются на организацию целиком (решение).

Второй сюжет — про изображения: московский суд запретил обработку фотографий людей без согласия, и это дало пострадавшим от дипфейков реальный процессуальный механизм вместо жалобы в поддержку сервиса (решение).

Третий — про границу доказывания: в споре Midjourney с голливудскими студиями суд ограничил объём данных, которые студии обязаны раскрывать, — только сведения о «потребительском» применении ИИ, без внутренних разработок (разбор спора). Показательно, что суд не запрещает инструмент, а очерчивает рамку процесса.

Два сюжета касаются доказательств и коммуникаций. Юридическая отрасль пока не выработала критерия, как отличать подлинную запись от сгенерированной, а значит любой, кто приносит аудио или видео в суд, работает в зоне неопределённости (обзор). Робот-коллектор, по разъяснению недели, юридически приравнен к обычному звонку — считать его контакты нужно вместе с человеческими, иначе лимиты обходятся автоматически (разбор). Отдельно в этом ряду стоит дело Perplexity: пользовательские данные ушли третьей стороне, и разбирать это будут уже как нарушение обращения с данными, а не как ошибку модели (публикация).

Рейтинги: единый балл больше не аргумент

Неделя аккуратно закрыла эпоху «у модели 90 баллов MMLU, значит она лучше». В сводном рейтинге моделей 2026 года прямо сказано: единый балл бессмысленен, смотреть надо на GPQA Diamond, SWE-Bench Verified, Humanity’s Last Exam и поведение в агентских задачах (рейтинг).

Параллельно вышли два полезных инструмента:

  • каталог более 500 моделей с ценой, длиной контекста и тестами в одном окне (каталог)
  • и срез по реальному расходу — какие модели компании действительно оплачивают, а не какие хвалят в анонсах (расходы).

Для команд в России к этому добавился прагматичный слой: при выборе между OpenRouter и локальным посредником решает не доступ к моделям, а способ оплаты и отчётность (сравнение). И приятная деталь для тех, кто только присматривается: на неделе собрали подборку пяти бесплатных моделей, доступных без оплаты и обязательств — как тестовый полигон (подборка).

Наука: агенты обгоняют опубликованное, но не понимают

Самый отрезвляющий результат недели — тестбенч Agent4Sci на 20 наборах из 11 предметных областей. Агенты улучшили опубликованные результаты, но прирост объясняется стандартными инженерными приёмами, а не научным пониманием задачи (препринт). Для практики это означает простую вещь: в отчётах о возможностях агентов полезно отделять «стало лучше» от «стало понятнее».

Смежная линия — промышленность

Обзор arXiv описывает, как автономное планирование упирается в физические ограничения цеха и требования к надёжности, и это ограничивает перенос лабораторных результатов в производство (обзор). В проектировании микросхем пошли другим путём: модель обучают через многокритериальное обучение с подкреплением, чтобы она искала компромисс между мощностью, производительностью и площадью, а не оптимизировала одно число (Pareto-optimal RTL).

Медицина показала, что можно без облака

Система MedPAO-Assist собирает структурированные радиологические отчёты на ноутбуке без видеокарты (препринт). Диагностика редких болезней пошла по пути объединения трёх разных подходов — результат устойчивее, чем ставка на одну большую модель (FusionRare).

Ещё одна работа недели касается данных с противоречиями: модели учат учитывать конфликтующие источники, вместо того чтобы выбирать один «правильный» (препринт).

Доверие как отдельный продукт

История про Anthropic — не про модели, а про сервис: клиенты неделями не могли добиться ответа поддержки, а последствия автоматических списаний разбирали через банк (материал). Это тот самый случай, когда экономия на поддержке переносится в издержки клиента: скорость ответа выросла, а количество обращений, которые нужно довести до человека, осталось прежним.

Что забрать в работу

Первое: считайте память до покупки железа — 4–5 ГБ против 14–16 ГБ на одну и ту же модель делают выбор видеокарты предсказуемым. Второе: относитесь к ИИ как к инструменту с ответственностью организации — судебная практика недели именно об этом. Третье: выбирайте модель замером под свою задачу и способ оплаты, а не по сводному баллу.

Полные разборы недели и справочники — в дайджесте llmnews.by, включая хаб по локальному запуску и ежедневные сводки. Какая тема недели ближе всего к вашим задачам — напишите в комментариях, следующую подборку соберём вокруг неё.

Материал подготовлен редакцией LLM Дайджест (llmnews.by): факты сверены с первоисточниками, ссылки на источники приведены в тексте.

* Meta Platforms Inc. (и принадлежащие ей соц.сети Instagram, Facebook) признана экстремистской организацией, ее деятельность в России запрещена.

Оставить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Скопировано