Чем можно проверить фото и видео на дипфейки и другие изменения

_DarkRin_

Активный
08.06.2021
10
0
8
Источник материала: vc.ru

Пять сервисов для поиска скрытых деталей и ошибок в изображениях, и технологии, которые пока в разработке.



Дипфейки портретов Wired

Forensically
Набор бесплатных инструментов для анализа изображений.
  • «Лупа» позволяет увидеть скрытые детали на фото. Она увеличивает размер пикселей и контрастность.
  • «Детектор клонов» выделяет цветом участки изображения, которые были скопированы.
  • «Анализ уровня ошибок» сравнивает снимок с его сжатой версией. Помогает понять, какую часть изображения изменяли: она может быть темнее или ярче, чем аналогичная область, которой не манипулировали.
  • И другие функции.

Интерфейс Forensically Forensically

Image Edited
Сервис бесплатно определяет, были ли изменения в снимке. Если были, сообщает, в каком графическим редакторе их сделали. Сервис анализирует фото на уровне пикселей и их цветов.

В основу сервиса легли алгоритмы анализа: ELA — определение уровня ошибок, и Jpeg% — оценка уровня качества изображения после последнего сохранения.


Пример результата анализа сервиса FixThePhoto

Ghiro
Бесплатная программа с открытым исходным кодом ищет ошибки в изображениях и на их основе выявляет монтаж. Также сравнивает фото с их миниатюрами — если есть разница, сообщает, что снимок изменяли.

Также может извлекать из файлов текстовую информацию, например, URL-адреса. Если находит геотеги и связанную с ними информацию, показывает возможное место снимка на карте.


Интерфейс Ghiro

Deepware
Сервис с открытым исходным кодом бесплатно анализирует видео на дипфейки. Также есть приложение Deepware, оно работает только на Android.


Экран оценки видео Deepware

KaiCatch
Корейское приложение KaiCatch распознаёт поддельные фото и видео с помощью ИИ — он определяет аномальные искажения лиц с точностью 90%.

Проверить фото или видео стоит около $1,7. Приложение работает только на Android и на корейском языке. В будущем разработчики обещают добавить поддержку английского, китайского и японского языков, а также перенести приложение на iOS.


Интерфейс приложения KaiCatch

Анонсированные разработки
Разработка Adobe
В 2019 году подразделение Adobe Research вместе с Калифорнийским университетом в Беркли создали функцию Photoshop Face Aware Liquify, в основу которой легла свёрточная нейросеть.

Её обучили на тысячах обработанных ИИ фотографиях из интернета. По оценке Adobe Research, определение фото- и видеомонтажа в экспериментах показал эффективность 99%, в то время как люди смогли распознать лишь 53% подделок.


Выявление изменений на фото с помощью разработки Adobe Research Adobe Blog

К работе над проектом исследователи привлекли художника и попросили его вручную изменить некоторые из изображений. Так в обучение нейросети добавился «элемент человеческого творчества».

Опыты с программой показали, что она может не только выявлять подделки, но и возвращать изменённые снимки в их первоначальное состояние. Однако в открытый доступ разработка пока не вышла.

Это важный шаг в обнаружении определенных типов редактирования изображений. Функция отмены — восстановления оригинального вида — работает на удивление хорошо.
Помимо подобных технологий, лучшей защитой будет искушённая публика. Которая знает: контентом можно манипулировать, часто чтобы доставить им удовольствие, но иногда — чтобы ввести их в заблуждение.

Гэвин Миллер
глава Adobe Research
Нажмите, чтобы раскрыть...
Microsoft Video Authenticator
В сентябре 2020 года Microsoft создала ПО для борьбы с дипфейками — Video Authenticator. Программа оценивает фото и видео и определяет вероятность монтажа.


Фрагмент оригинального видео и обработанного Oriental Review

Её создали с помощью общедоступного набора изменённых фотографий и видео Face Forensic++ и дополнительно обучили на другом наборе — DeepFake Detection Challenge.

Когда компания выпустит технологию, неизвестно.

Разработка Facebook
В июне 2021 года исследователи Facebook создали ИИ, который может идентифицировать дипфейк-контент и отслеживать его происхождение. Над программой работали специалисты Мичиганского государственного университета.

«Наш метод облегчит поиск подделок, когда сама подделка — единственная информация, с которой приходится работать», — рассказали учёные-исследователи Facebook Си Инь и Тал Хасснер.

По словам Facebook, их программа ищет в фото и видео следы изменений в их цифровых «отпечатках». Распространять программу будут вне Facebook, чтобы облегчить расследования «инцидентов скоординированной дезинформации».

В открытый доступ разработка пока не вышла.

FakeBuster
FakeBuster помогает выявлять дипфейки во время онлайн-конференций и в соцсетях. Разработчики протестировали программу во время звонков в Zoom и Skype.

В основу FakeBuster легла 3D-свёрточная нейросеть, которую обучили на комбинации наборов данных, таких как Deeperforensics, DFDC, VoxCeleb, и неназванных видеороликов. В открытый доступ программа ещё не вышла.

Инициативы по борьбе с дипфейками
В сентябре 2020 года Microsoft предложила крупным медиакомпаниям поддержать инициативу Project Origin. Фирма предлагает маркировать онлайн-контент так, чтобы автоматически находить изменения в оригинальных фотографиях и видео.


Страница Project Origin на сайте Microsoft

Реализовать Project Origin специалисты предложили в два этапа:
  • Сначала создать инструмент для загрузки цифровых «отпечатков» в виде сертификатов и значений «хэша» в метаданные медиаконтента.
  • Создать считыватель, чтобы определять в нём сторонние изменения.
Microsoft рассказала, что проверку технологии по «маркировке» контента она планирует провести в сотрудничестве с BBC, The New York Times, Вашингтонским университетом и другими.

По оценке разработчиков, в будущем считыватели цифровых «отпечатков» станут доступны пользователям в виде расширений браузера. Они позволят в проверять подлинность информации и определить источник его происхождения.