Что такое «Проверка кадра» и почему это не мнение нейросети

Во всех предыдущих выпусках мы ссылались на «Проверку кадра» — наш инструмент технического разбора. Пора объяснить, что это такое, потому что слово «автоматический разбор фотографии» сегодня означает совсем не то, что мы делаем.

Чего мы намеренно не сделали

Существуют сервисы, которые принимают вашу фотографию и возвращают текст вроде «прекрасная игра света и тени, интересное композиционное решение, рекомендуем немного поднять тени». Это языковая модель, которой показали картинку и попросили «разобрать как куратор».

Соблазн понятный, и мы от него отказались по одной причине: такая модель выдумывает. Она напишет «прекрасная игра света» там, где света нет, и «интересное композиционное решение» про случайный кадр. Для разбора чужой работы это хуже, чем молчание: студент поверит.

Наша программа не содержит нейросетей вообще. Она меряет пиксели и читает съёмочные данные из файла — и говорит только то, что следует из измерений. Не «нравится — не нравится», а «выбито три процента кадра», «линии отклонены на четыре градуса», «светлых пятен девять, и они спорят между собой».

Звучит суше. Зато каждое слово можно проверить: число получено из файла, и его можно пересчитать руками.

Как это устроено

Четыре слоя, и они разделены нарочно.

• Измерения. Около сорока пяти чисел с каждого кадра: экспозиция, тон, резкость, шум, цвет, направления линий, распределение внимания.
• Съёмочные данные. Что было решено на съёмке: выдержка, диафрагма, ISO, фокусное, поправка, вспышка, час.
• Правила. Условия вида «если — то», написанные на языке школы. Их пишет тот, кто ведёт занятия, а не программист.
• Сборка разбора — в том порядке, в каком его ведут на занятии.

Почему съёмочные данные важнее, чем кажется

Пиксели показывают, что получилось. EXIF показывает, что вы решили. Разбор — это разговор о решениях, поэтому самые содержательные замечания приходят именно оттуда:

Выдержка 1/1600 — в 16 раз короче необходимой (1/99), а ISO при этом 1250. Запас по выдержке был, ISO можно было опустить примерно вчетверо.

Объектив открыт до упора (f/3.5 — предел на 23 мм) и ISO 2000. Это не ошибка, это предел техники: света не хватало.

Второй пример показывает, зачем вообще всё это нужно. Формально кадр шумный. Но это не ошибка автора: он уже сделал всё, что мог. Программа это видит и говорит прямо — вместо того чтобы отругать за шум.

Откуда взялись пороги

Это самая важная часть, и её обычно не рассказывают.

Первая версия порогов была просто придумана. На 121 работе студентов она сработала плохо: правило про яркий угол находило «ошибку» в 55 кадрах из 74. Ошибка, которая есть у трёх четвертей хороших работ, — не ошибка, а свойство фотографии.

Поэтому пороги пересчитаны по архиву школы — подборки «лучшее фото года», всего 121 работа. Порог каждого правила стоит примерно на девяностом процентиле. Это значит: замечание выносится тогда, когда кадр заметно выбивается из того, что школа сама считает хорошей работой.

Признак	Медиана по 121 работе	Порог правила
выбито в белое	0,05 %	3 %
провалено в чёрное	0,6 %	12 %
завал, градусов	0	3,2 — спорное, 5 — замечание
светлых пятен	3	8
шум	1,5	5,2
яркий угол, перевес	36	82

После пересчёта ни одно правило не срабатывает чаще, чем на трети кадров, а большинство — на пяти-двадцати процентах. И это проверяется отдельной командой, а не на слово: замечание, вылезающее чаще чем на трети кадров, помечается «фон, а не замечание».

Как решена главная трудность

Машина не может отличить приём от ошибки. Заваленный горизонт бывает решением. Чёрные тени бывают низким ключом. Пустой кадр бывает про пустоту.

Мы не стали это прятать. Спорные правила называют оба прочтения и не выбирают за автора:

38 процентов кадра — чистый чёрный. Если тени пустые нарочно, это низкий ключ и всё в порядке. Если нет — деталей там уже не осталось.

Так это и звучит на защитах: «мне кажется», «я бы», а не «неправильно». Насколько это принципиально, хорошо видно в выпуске про заваленный горизонт: там программа намерила наклон в 11 градусов на кадре, где наклона нет вовсе — просто снят велотрек.

Одно замечание — один раз

Правила срабатывают независимо, и у тёмного кадра разом выходили «темно», «провалено», «чёрно-бело» и «мягко» — четыре замечания об одном и том же. Живой куратор говорит одно.

Поэтому прописано, что кого перекрывает. Самое полезное там — подавление пиксельных правил съёмочными: «похоже на смаз» уступает место «выдержка 1/40 при необходимой 1/85», потому что второе называет причину, а не следствие.

Плюс жёсткий потолок: не больше трёх похвал, четырёх замечаний, трёх спорных пунктов и двух справок на кадр. Длинный список читают как придирки и не делают из него ничего.

Чего «Проверка кадра» не умеет

Это надо знать до того, как ей пользоваться.

1. Не знает, что на снимке. Видит пятна, границы и цвета, а не собаку, лицо и закат.
2. Не находит лиц. Готовые методы дают слишком много ложных срабатываний, а неверно найденное лицо портит весь разбор.
3. Не знает замысла. Поэтому спорное и называется спорным.
4. Не оценивает содержание. Важно ли то, что снято, стоило ли этого снимать, есть ли в кадре высказывание — на это она не отвечает и отвечать не должна.
5. Не видит, кто в кадре чем занят. Это смысл сцены, а не пятна и границы.

И ещё одного мы не стали делать принципиально — оценки в баллах. Число без объяснения не учит ничему, а спорить с ним будут все.

Зачем тогда она нужна

Она показывает измеримое — быстро, бесплатно и без очереди. Это первый слой разбора: он снимает вопросы про выдержку, пересвет, шум, наклон и спорящие пятна, то есть про то, что не требует человека.

Всё остальное — замысел, содержание, момент, отношение автора к герою — остаётся человеку. Как эти два разбора соотносятся на практике, мы показали на одном и том же кадре в следующем выпуске.

Коротко: частые вопросы

Читайте также

• «Проверка кадра» против «на глаз»: что видит инструмент и что видит человек
• Разбор кадра №3: заваленный горизонт — приём, небрежность или ошибка измерения
• Разбор кадра №7: кадр из архива школы — полный разбор от начала до конца