Изображения, созданные с помощью методов машинного обучения, могут быть распознаны другими нейросетями, но уже не человеком.

Легко ли отличить настоящую фотографию от так называемого «фотошопа»? В каких-то случаях это может сделать каждый, уж очень явные артефакты монтажа присутствуют на изображениях. Существуют даже целые подборки забавных фотографий, где графическая редактура доведена до абсурда. Но бывают и такие снимки, где отличить, что называется, на глаз реальность от фальшивки практически невозможно. Отличить реальную фотографию от «фотошопа» помогают специальные методики. Часть из них основана на техническом анализе исходных графических данных. Дело в том, что разные графические инструменты оставляют в изображении свои невидимые отпечатки. Поэтому можно найти следы изменения изображения, или показать, что одно изображение смонтировано из нескольких отдельных кусочков, пусть даже с графической точки зрения монтаж был выполнен идеально. 

Изображения человеческих лиц, полученные с помощью генерационно-состязательной сети. Источник: PGGAN dataset, Karras и др. Источник: arxiv.org/pdf/1710.10196.pdf

Сравнительно недавно появился новый вид высококачественных «фейков» – изображения, сгенерированные с использованием методов машинного обучения. Другими словами, нейросети научились, точнее их научили, создавать изображения, которые очень и очень похожи на настоящие. Проблема их идентификации состоит в том, что в отличие от классического «фотошопа», где результат, образно говоря, склеивается из разных кусочков, нейросети могут создавать цельное изображение практически с нуля. С подобными задачами особенно хорошо справляется вид нейросетей, который называется генеративно-состязательная сеть. Такая  сеть фактически состоит из двух сетей: первая, генеративная, учится создавать изображения, а другая – дискриминативная, учится отличать изображения, созданные первой сетью, от «настоящих». В результате этой состязательной работы у генеративной сети получается создавать  такие изображения, которые человек уже в ряде случаев не может отличить от настоящих. Особенно впечатляют результаты работы нейросетей по генерации человеческих лиц.

То, что такие изображения не поддаются обычным методам анализа подлинности, может быть использовано в самых разных и не всегда благих целях. На лицо классическое противостояние брони и снаряда. И если генеративно-состязательный «снаряд» появился, то что можно ему противопоставить? Исследователи из университета штата Нью-Йорк (Корея) разработали новый метод, также основанный на методах машинного обучения, который с высокой степенью точности определит, сгенерировано ли изображение человеческого лица нейросетью или же это настоящая фотография. По крайней мере, обученная исследователями нейросеть успешно справлялась с отличием синтетических лиц от фотографий настоящих людей. Здесь возникает логичный вопрос – почему такая нейросеть может отличить результат работы тандема генеративной и дискриминативной сетей, и чем она отличается от дискриминативной сети, которую по идее должна научиться «обманывать» генеративная сеть? 

Можно сказать, что результат работы генеративно-состязательной сети – это всегда некоторое компромиссное решение, направленное на то, чтобы получить качественный итоговый результат, а не 100% победу одной из сетей. В то время как сеть, которая ищет только отличия, может научиться делать это весьма эффективно, находя невидимые человеческому глазу следы работы генеративно-состязательной сети. Впрочем, это не единственная исследовательская работа на подобную тему. Другая группа исследователей относительно недавно представила метод обнаружения сгенерированных изображений, основанный на статистическом анализе распределения цветовых компонентов. Очевидно, что это только начало соревнования машинных методов генерации и определения таких изображений, и, что характерно, эти методы уже лежат за пределами возможностей человека.

По материалам Proceedings of the 2nd International Workshop on Multimedia Privacy and Security