Отчёт об исследовании

Отчёт об исследовании #

Краткое содержание:

  • Обзор исследования Stanford HAI
  • Аналитический отчёт о российском рынке
  • Создание опроса для экспертов
  • Формирование экспертной группы
  • Результаты опроса
    • Введение
    • Текущая ситуация с аналитикой
    • Осведомлённость и восприятие новых AI-технологий
    • Потенциальные области применения и потребности
    • Барьеры, ожидания и готовность к внедрению
    • Заключительное интервью

Исследование Stanford HAI #

21.01.2025 вышла статья в блоге института Standford HAI “AI Agents Simulate 1,052 Individuals’ Personalities with Impressive Accuracy”, в которой исследователи успешно смоделировали личности 1052 человек, используя интервью и большую языковую модель (LLM).

Данная публикация представляет новую архитектуру агентов, способных симулировать поведение и установки более 1000 реальных людей. Целью исследования является создание агентов, которые могут воспроизводить человеческое поведение в различных социальных, политических и информационных контекстах, что может быть полезно для политики и социальных наук.

Авторы разработали архитектуру, которая использует большие языковые модели (LLMs) и качественные двухчасовые интервью с участниками для создания этих генеративных агентов. Интервью проводились с репрезентативной выборкой населения США (более 1000 человек) с использованием AI-интервьюера и охватывали широкий спектр тем, включая жизненные истории и взгляды на текущие общественные вопросы. Полные стенограммы интервью использовались для информирования агентов, при этом модель получала всю стенограмму при запросе, чтобы имитировать человека на основе его данных.

Для оценки точности агентов их ответы сравнивались с ответами реальных участников на Общем социальном опросе (GSS), Большом пятифакторном опроснике личности, в пяти известных поведенческих экономических играх и пяти социальных научных экспериментах.

Ключевые результаты исследования:

  • Генеративные агенты, обученные на интервью, с высокой точностью воспроизводили ответы участников на GSS (85% точности по сравнению с 87% внутренней согласованности участников через две недели) и показали сопоставимую производительность в прогнозировании черт личности и результатов экспериментов.
  • Использование интервью для информирования агентов значительно улучшило их прогностическую способность по сравнению с агентами, основанными на демографических описаниях или персонализированных абзацах. Агенты, основанные на интервью, превзошли другие методы в прогнозировании ответов GSS и черт личности по Большой пятерке.
  • Агенты, основанные на интервью, успешно воспроизвели результаты четырех из пяти социальных научных экспериментов, что сопоставимо с результатами репликации, проведенной людьми.
  • Анализ показал, что даже сокращенные интервью (удаление до 80% текста) все еще обеспечивают лучшую прогностическую силу, чем агенты, основанные на опросах.

В заключение, данная работа представляет многообещающую основу для новых инструментов, которые могут помочь в исследовании индивидуального и коллективного поведения, предоставляя ценный ресурс для социальных наук и машинного обучения.

Основа действительно многообещающая, а что если нам использовать похожую идею для анализа потребностей российского рекламного рынка в новых инструментах на основе AI? Для начала этот рынок нужно изучить.

Аналитический отчёт о рынке #

Краткая структура отчёта:

  1. Контекст рынка (Россия, 2023-2024):
    • Описать структуру рекламного рынка (ТВ, Digital, Радио, Пресса, OOH) с долями, объемами и динамикой.
    • Выявить ключевые тренды: влияние законодательства, экономики, импортозамещения, рост отдельных каналов.
    • Сравнение с глобальным рынком: Сходства и различия, особенно в аналитике (доступность данных, локальные игроки, регулирование).
  2. Аналитические задачи и инструменты:
    • Систематизировать аналитические задачи (ROMI/ROAS, MMM, атрибуция, анализ аудитории и др.) для традиционных и digital-медиа.
    • Описать AI/ML-инструменты и их адаптацию в России.
    • Исключить технологии автоматизации закупок, кроме их аналитических модулей.
  3. Роль LLM/VLM в аналитике рекламы:
    • Оценить текущее состояние и потенциал LLM и VLM для решения аналитических задач в российской рекламе.
    • Привести примеры сценариев использования (анализ отзывов, генерация отчетов, оценка тональности, анализ визуальных элементов креативов).
  4. Перспективы и выводы:
    - Выводы о зрелости и специфике аналитики и AI/ML в России.
    - Драйверы и барьеры развития.
    - Перспективные направления на 3-5 лет.

Было заказано 6 углубленных аналитических отчётов:

Данные отчёты были синтезированы в единый Аналитический отчёт о рынке.

Создание опроса #

Цель опроса: Выявить потребности и ожидания специалистов рекламного рынка от новых аналитических инструментов на базе LLM, VLM и AI-агентов, оценить потенциал их внедрения и барьеры.

Формат: Комбинированный (анкета + углубленное интервью). Некоторые вопросы лучше подходят для быстрого ответа в анкете (закрытые, шкалы), другие – для обсуждения голосом (открытые, требующие размышления).

Опрос разбит на логические блоки:

  1. Введение и информация о респонденте (Анкета)
  2. Текущая ситуация с аналитикой (Анкета + Интервью)
  3. Осведомленность и восприятие новых AI-технологий (Анкета + Интервью)
  4. Потенциальные области применения и потребности (Анкета + Интервью)
  5. Барьеры, ожидания и готовность к внедрению (Анкета + Интервью)
  6. Заключение (Интервью)

Всего 23 вопроса:

  • 2 численных
  • 6 с выбором
  • 6 с множественным выбором
  • 9 открытых вопросов

Полная версия опроса - Опрос экспертов.

Формирование экспертной группы #

В исследовании участвовали 30 экспертов рекламного рынка из 14 компаний: руководители по маркетингу и брендингу, маркетинговые аналитики, медиа-специалисты, digital-маркетологи, креативные директора, представители рекламных агентств и менеджеры рекламных платформ с опытом работы от 4 лет.

Компании, участвовавшие в опросе #

Крупнейшие игроки рынка:

  • ГлобалМедиа Групп: Международный рекламный холдинг.
  • AdVantage International: Ведущая международная рекламная сеть.
  • ПульсМаркет: Лидер рынка маркетинговых исследований.
  • ОмниВижн: Крупнейшая сеть наружной и цифровой рекламы.
  • ИнтерМедиа Холдинг: Крупная медийная группа с активами в ТВ и digital.

Организации среднего размера:

  • Креатив Форс: Агентство с фокусом на креативные рекламные решения.
  • ТаргетПлюс: Специализированное агентство цифрового маркетинга.
  • РезультМедиа: Компания с фокусом на перформанс-маркетинг.
  • МаркетПро: Компания, предоставляющая услуги медиапланирования и аналитики.

Стартапы:

  • НейроАд: Стартап, применяющий нейросети в рекламе.
  • ВижнЛаб: Инновационная компания в сфере AR/VR рекламы.
  • AdNova Labs: Технологический стартап, создающий AI-решения для персонализации рекламы.
  • СоцПульс: Молодая компания по мониторингу и аналитике рекламы в социальных сетях.
  • ClickSpark: Стартап, разрабатывающий платформу для автоматизированного тестирования креативов.

Должности #

  1. Руководители по маркетингу и брендингу (CMO, Директора по маркетингу, Бренд-менеджеры)
  2. Руководители исследовательских отделов, Маркетинговые исследователи и аналитики данных (Big Data, бизнес-аналитика)
  3. Медиа-директора и медиа-планеры
  4. Digital-маркетологи, Digital-стратеги и специалисты по онлайн-рекламе (SMM, контекст, influence-маркетинг)
  5. Креативные директора и специалисты по контенту
  6. Представители рекламных агентств и консультанты по рекламным технологиям (стратеги)
  7. Менеджеры по работе с клиентами в рекламных сетях/платформах

Полный список экспертов с указанием компаний, должностей, возраста и опыта работы приведён в Экспертная группа.

Результаты опроса #

Полные результаты опроса - Результаты опроса, с разбивкой по вопросам - Результаты опроса - по вопросам

Введение #

png

png

png

png

png

Текущая ситуация с аналитикой #

png

png

png

Фото
Дмитрий Новиков, 37 лет, Креативный директор Креатив Форс
Каких данных или инсайтов не хватает?
Не хватает, прежде всего, предиктивной аналитики по креативам – возможности оценить потенциал визуальных и текстовых решений до старта кампании и больших бюджетов. Хотелось бы глубже понимать, какие конкретно элементы креатива (цвета, образы, формулировки) вызывают нужную реакцию у разных сегментов аудитории. Также не хватает инструментов для автоматического анализа креативных стратегий конкурентов – не просто факта размещения, а именно анализа их сообщений, визуального языка. И, конечно, более точной кросс-канальной атрибуции с учетом синергии креативов в разных каналах.
### Осведомлённость и восприятие новых AI-технологий

png

png

Кто же ответил “Скорее да”:

  • Ольга Морозова, Медиа-планер из РезультМедиа
  • Светлана Зайцева, Менеджер по работе с клиентами из ОмниВижн
  • Алексей Иванов, Руководитель исследовательского отдела из ПульсМаркет

png

Потенциальные области применения и потребности #

png

png

png

Фото
Ольга Лебедева, 39 лет, Руководитель исследовательского отдела ПульсМаркет
Какие 3 ключевые функции должен выполнять идеальный AI-инструмент?
  1. Автоматическое создание прогнозов эффективности рекламных кампаний на основе анализа исторических данных и внешних факторов (сезонность, конкуренция и т.д.).
  2. Генерация креативов (текстов, баннеров) на основе анализа целевой аудитории и лучших практик, а потом еще и их анализ.
  3. Построение интерактивных дашбордов и отчетов с возможностью задавать вопросы на естественном языке и мгновенно получать ответы и визуализации.
Фото
Ксения Павлова, 26 лет, SMM-специалист СоцПульс
Какие 3 ключевые функции должен выполнять идеальный AI-инструмент?
  • Кросс-платформенная интеграция и консолидация данных: Чтобы он мог автоматически собирать и объединять данные из всех основных рекламных платформ, соцсетей, систем аналитики в одном месте, без ручного сведения табличек.
  • Интеллектуальный анализ визуального контента: Чтобы умел анализировать баннеры, видео, креативы конкурентов, выявлять тренды в дизайне, композиции, цветовой гамме, предсказывать их потенциальную эффективность.
  • Автоматизированная генерация инсайтов и отчетов на естественном языке: Чтобы не просто выдавал цифры, а формулировал выводы, объяснял причины изменений, предлагал рекомендации в понятной и доступной форме, как если бы это делал опытный аналитик.

png

Барьеры, ожидания и готовность к внедрению #

png

png

png

png

png

Заключительное интервью #

png

Фото
Дмитрий Новиков, 37 лет, Креативный директор Креатив Форс
Что ещё важно для AI-инструментов в рекламной аналитике
Хотелось бы подчеркнуть важность мультимодального анализа для креатива. Эффективность рекламы часто зависит от синергии визуала, текста, звука, формата – AI-инструменты должны уметь анализировать это комплексно. Также критически важна адаптация AI к культурному контексту и специфике российского рынка, включая сленг, мемы, визуальные коды. Без этого анализ креативов будет поверхностным.

png

Фото
Сергей Кузнецов, 39 лет, Руководитель исследовательского отдела ПульсМаркет
Пример задачи для AI-инструмента
Мы планируем запустить новую рекламную кампанию для продвижения мобильного приложения. Хотелось бы, чтобы AI-инструмент проанализировал предыдущие кампании, данные о целевой аудитории, креативы конкурентов и спрогнозировал, какие каналы и креативы будут наиболее эффективны, а также сгенерировал варианты рекламных текстов и визуалов, адаптированные под разные площадки.
Фото
Мария Лебедева, 30 лет, Digital-стратег ВижнЛаб
Пример задачи для AI-инструмента
Например, задача анализа эффективности визуальных креативов: AI-инструмент анализирует баннеры и видео до их запуска, выявляя ключевые элементы, которые могут повлиять на конверсию, и предоставляя рекомендации по их оптимизации. Результаты анализа помогают нам принимать более обоснованные решения и снижать риски неудачных запусков.