Привет, лето. Про нейросети и фотографию (1 из 2).
1. Если с фотографией и происходит что-то волнительное сейчас, то это, безусловно, по вине нейронных сетей, которые, впрочем, и видео не брезгуют. Надо полагать, что дальнейший прогресс в этой области приведёт к очередной революции в области фотографии (во всяком случае в её прикладной сфере) как это произошло при смене аналога цифрой. Доживём ли до "фотографий" вообще без фотографа и даже без фотоаппарата?
Для общего контекста: о предпосылках бума нейросетей, бионическом подходе, машинном творчестве и генеративных моделях смотрите лекцию Сергея Маркова "Творчество нейронных сетей: генеративные модели" https://www.youtube.com/watch?v=JqKT2HiNl7s
2. Есть два основных подхода к изображениям. Первый и самый очевидный — нейросеть может работать с уже имеющимися картинками, решая ту или иную частную задачу. Источником этих снимков может быть что угодно — спутник, машины-Яндекс, массивы снимков Facebook, VK и Instagram. Как правило это сугубо прикладные задачи с очевидным источником денег. Что это может значить для урбанистики рассказывает хороший и насыщенный ссылками материал от Strelka Magazine.
Однако заработать можно и на мене очевидных вещах — психологии и эмоциях. Например, человеческом любопытстве. Это успешно делает приложение FindFace с возможностью поиска аккаунта человека в VK (у приложения, безусловно, есть масса и более практических применений), которое получило максимум шума в стране, благодаря проекту Егора Цветкова.
http://www.strelka.com/ru/magazine/2017/06/15/machines-can-see
https://tjournal.ru/26065-fotograf-protestiroval-neyrosetevoy-poisk-lyudey-vo-vkontakte-na-passazhirah-moskovskogo-metro
3. Другой подход — менее очевидный, но о котором и рассказывает Сергей Марков в первой ссылке, это изображение генерировать. Виктор Лемпицкий из Сколково в монологе для Пост-науки описывает задачу следующим образом: "В последние годы все больше внимания посвящено нейросетям, которые решают обратные задачи, то есть задачи синтеза, порождения изображений. Обратная задача заключается в следующем: компьютер должен просмотреть большое количество изображений, содержащих лица, кошечек или зданий, и, выучив, что такое кошечка, лицо или здание, он должен учиться создавать новые изображения. Важно, что эти новые изображения должны быть, во-первых, реалистичными для человека, с точки зрения человека. А во-вторых, должны существенным образом отличаться от тех кошечек, лиц, зданий, которые нейросеть видела в процессе обучения." Тут спрятана и вполне практичная задача восстановления фотографии по недостающим данным. И возможность "усиления фотографичности" совершенно не фотографического наброска как в нашумевшем приложении pix2pix. Результаты, выглядят, как это модно говорить creepy, но дело, очевидно, движется.
https://postnauka.ru/video/74128
http://www.cossa.ru/news/152034/
https://nplus1.ru/news/2017/06/06/uncanny-creepy
#нейросети #ссылочная