Образы “с обложки” в два клика: как AI находит одежду, читая модные обзоры

О том, как легко и ненавязчиво подвести читателя медиапортала к покупке одежды конкретного бренда, рассказала Надежда Анисимова, менеджер по маркетингу и PR в компании Sarafan Technology Inc.

Надежда, расскажите, чем занимается ваша компания?

Компания Sarafan Technology Inc. существует с 2016 года. Мы разработали искусственный интеллект Sarafan.AI и научили его распознавать объекты на фотографиях и видео.

В результате нашего исследования выяснилось, что фото и видео чаще всего вдохновляют людей на покупки fashion-товаров. С их распознавания мы и решили начать.

Сегодня мы работаем с медийными порталами. Наша система анализирует фотографии и видео, опубликованные на сайте, и ищет товары, которые появились в кадре. Все найденные варианты выводятся в виджете. Пользователь нажимает на товар в виджете и переходит в интернет-магазин. Единственное, что нужно сделать медиа, это установить наш виджет. Всю работу выполняет искусственный интеллект.

В наше время многие компании стремятся выпустить свое приложение, почему вы не выбрали этот путь для себя?

Изначально мы разработали мобильное приложение, через которое можно было найти одежду с фотографии. Но уже через год мы решили от него отказаться. Во-первых, пользователи фотографировали товары сами, и любительские снимки не всегда получались качественными. Распознать их искусственному интеллекту было трудно. Это и не удивительно. Как, например, понять, какого цвета светлый плащ, если его сфотографировали в темноте под фонарем? Подобных спорных фото было много, в итоге пользователи не получали искомые результаты и удаляли приложение. Была и вторая причина, по которой мы ушли от этого решения: приложение скачивали, когда нужно было найти вещь, через какое-то время забывали о нем, а потом и вовсе удаляли.

Чем ваша технология может быть полезна “простому пользователю”?

Расскажу, как работает Sarafan.AI на примере. Представьте себе статью о модных трендах. На одной из фотографий — девушка-блондинка в синем пиджаке и платье в горошек, у нее красная помада, в ушах серьги. Система считывает эту информацию и находит похожие платье, пиджак и серьги. Параллельно идёт анализ макияжа: технология определяет цвет помады, тон кожи, структуру волос, а затем подбирает товары-рекомендации для создания такого образа: красную помаду, нюдовую пудру, шампунь для светлых волос. На фото установлена кнопка “Купить такой образ”, либо небольшие пины-отметки на каждом товаре. Читатель нажимает на кнопку или пин, чтобы посмотреть, какие товары изображены на фото, узнать их цену, бренд и при желании сразу перейти к покупке.

Система постоянно проверяет и обновляет ссылки — товары, которые закончились в онлайн-магазине из виджета удаляются. При этом пользователю не нужно устанавливать никакие приложения. Он просто заходит на сайт и читает статью. Пример работы виджета на портале Cosmopolitan.

А какую выгоду получает от сотрудничества медиапортал?

Наша технология используется для интернет-маркетинга. Sarafan.AI встраивает рекламу в контент, и у медиа появляется дополнительный инструмент монетизации. Он не конкурирует ни с контекстной, ни с баннерной рекламой—технология создает новые рекламные места. Медиа получает оплату от рекламодателя за переходы в магазин из виджета (модель CPC), покупки по ссылке из виджета (CPA) или 1000 показов товара в виджете (СРМ). Sarafan берет комиссию с прибыли площадки.

Для медиа виджеты Sarafan — это не только инструмент рекламы, но интерактивное дополнение к контенту. При помощи виджета с каждой фотографией можно взаимодействовать. Соответственно, увеличивается вовлеченность читателя в контент.

Правда, весьма удобно, что пользователь может посмотреть ненавязчивые рекомендации, и в итоге все оказываются в выигрыше. Но есть ли, тем не менее, какие-то подводные камни в работе системы?

Да, есть некоторые особенности. У искусственного интеллекта нет интуиции. Машина видит то, что есть. Она, например, не может догадаться, что на фото, где модель представлена по пояс, изображено платье, а не топ или блуза. Поэтому для корректной работы нашей технологии очень важно качество контента. У крупных медиа с этим проблем нет, а вот у площадок поменьше могут возникнуть трудности. Из-за низкого качества фото система может ошибиться с цветом или даже типом товара.

Автоматическая реклама также не всегда гарантирует безопасность для бренда. Чтобы виджеты не появлялись в статьях с негативным содержанием, мы научили наш искусственный интеллект «читать» — технология определяет тональность текста и не добавляет рекламу в статьи с отрицательным контекстом, например, «Самые неудачные образы звезд» или «Звезда сериала погибла в страшной аварии». Распознавание текста — очень сложная для обучения задача. Во всех языках есть слова с одинаковым написанием, но разным значением (к примеру, зАмок и замОк). Человек может отличить их по смыслу, а машина нет.

Поэтому в спорных случаях к работе подключаются наши асессоры и вручную удаляют статью из разметки. Рекламодатель также может предоставить список стоп-слов, с которыми не должен ассоциироваться бренд.

Каковы перспективы развития вашей технологии?

Совсем недавно мы запустили новый рекламный формат, он называется In-image. Как было уже сказано, наша технология очень четко работает именно с товарами fashion и beauty, но может определять и другие объекты. Например, Sarafan.AI может найти на сайте все фотографии с автомобилями или рождественской елкой, а затем встроить в них подходящую рекламу. В фото с авто — рекламу минивена, с елкой — магазина подарков. Получается, что реклама таргетируется по изображенным на фото предметам. Объекты для таргетинга определяет рекламодатель.

Расскажите, про путь развития компании, привлекали ли вы инвестиции?

С начала 2017 года мы резиденты Бизнес-инкубатора «Ингрия». Здесь рабочая, вдохновляющая атмосфера. Каждый месяц проходят встречи с иностранными инвесторами, мы участвовали во встречах с инвесторами из Прибалтики, Финляндии, Японии, Китая, Бельгии и Нидерландов. «Ингрия» организует мероприятия и с компаниями-потенциальными заказчиками. Не так давно была очень интересная и полезная встреча с Concept Group. Это был уникальный случай: впервые бренд пришел послушать стартапы, а не наоборот.

Встреча с инвесторами из Японии в Технопарке Санкт-Петербурга

Сейчас у нас два офиса, один в Санкт-Петербурге, второй в Нью-Йорке. Все технологические разработки ведутся в России, в США — поиск партнеров и продажи. Мы уже вышли на европейский рынок — подключили партнеров в Германии, ведем переговоры с медиакомпаниями Великобритании, Италии и Польши.

Что касается получения инвестиций, то ведется работа и в этом направлении. Инвесторов для посевной стадии мы решили искать на конкурсах и крупных конференциях. Проект питчили на разных площадках, где и познакомились с нашими первыми инвесторами — фондом The Untitled Ventures и Сергеем Дашковым. Они вложили в проект $400.000. После первых вложений мы уже специально не искали инвесторов, проект начал работать сам на себя. В сентябре 2018 года мы закрыли второй раунд — привлекли $1,3 миллиона от немецкого фонда Admitad Invest, фонд The Untitled Ventures и Сергей Дашков снова вложились в проект.

Какими преимуществами перед конкурентами вы обладаете?

У нас нет конкурентов в России, всего за год мы заключили партнерство со всеми крупными российскими медиадомами. Сейчас мы прорабатываем рынки Европы и США. Здесь конкуренция уже есть, но мы постоянно работаем над тем, чтобы быть на шаг впереди. Например, предлагаем партнерам гибкую бизнес-модель, с нами медиа может выбрать любую модель монетизации. Разумеется, совершенствуем и технологию, сейчас обучаем наш искусственный интеллект распознавать товары в стриминговом видео. Пока ни одна технология сделать это не может.

Источник: vc.ru