Сердце Машины Редакционный отдел
В этой статье мы предлагаем модельно-независимую структуру причинного обучения IV4Rec, основанную на инструментальных переменных, чтобы помочь моделям рекомендаций с данными поиска. Платформа использует искомый запрос как IV для разложения встраивания в рекомендательную систему на причинно-следственные и некаузальные части, а затем объединяет их для изучения влияния различных механизмов на результаты рекомендации. Кроме того, IV4Rec сочетает в себе методы традиционных IV с глубоким обучением, чтобы обеспечить сквозную структуру для изучения параметров модели. Эксперименты исследователей с набором коротких видеоданных Kuaishou и общедоступным набором данных MIND подтверждают эффективность фреймворка.
Рекомендательные системы, основанные на машинном обучении, постепенно стали основным способом помощи людям в автоматической фильтрации информации и выявлении интересов. Существующие модели обычно используют вложения для представления обширной информации в рекомендательных системах, такой как информация об элементе, пользователе и контекстная информация. С точки зрения причинно-следственного анализа связь между этими векторами и окончательной обратной связью пользователя (например, клики, лайки, ретвиты и т. д.) представляет собой смесь причинно-следственных и непричинно-следственных связей.
Причинность отражает причины, по которым пользователи предпочитают элементы, в то время как непричинность отражает только статистические зависимости между пользователями и элементами, такие как схемы воздействия, общественное восприятие и места размещения. Однако большинство существующих алгоритмов рекомендаций игнорируют разницу между причинно-следственными и акаузальными отношениями.
В этой статье исследователи из Университета Куайшоу и Жэньминь предлагают независимую от модели структуру причинного обучения, называемую IV4Rec, для эффективного разделения этих двух отношений, тем самым усиливая эффект рекомендательных моделей . Точнее, исследователи совместно рассматривают поведение пользователей в сценариях поиска и рекомендации. Заимствуя понятия из причинно-следственного вывода, они используют поведение пользователя при поиске в качестве инструментальных переменных (IV), чтобы помочь разложить исходное рекомендуемое встраивание, то есть методы лечения. Затем две отдельные части объединяются с помощью глубокой нейронной сети, и объединенный результат используется для выполнения задачи рекомендации.
Ссылка на статью: https://arxiv.org/abs/2202.04514
IV4Rec — это модельно-независимая структура, которую можно применять к многочисленным моделям рекомендаций, таким как NHRUB и DIN. Результаты экспериментов с общедоступными наборами данных MIND и наборами коротких видеоданных Kuaishou показывают, что IV4Rec может эффективно улучшить эффект рекомендательной модели, и эта технология подала заявку на китайский патент на изобретение .
1. Предыстория и мотивация
В реальной жизни поиск и рекомендация стали двумя основными способами помощи пользователям в получении информации в Интернете. Традиционно модель рекомендаций и модель поиска развертываются как две разные системы, обслуживающие разные информационные потребности разных пользователей.
Но в последние годы многие платформы онлайн-контента предлагают как поиск, так и рекомендации на одной платформе. При наличии нескольких вариантов поведения пользователей две службы могут быть связаны их общим подмножеством пользователей и элементов. Это явление дает нам возможность использовать данные одного сервиса для улучшения эффекта другого сервиса.
Рисунок 1. Службы поиска и рекомендаций на одной платформе
Существующая работа показала, что поиск и рекомендации могут быть оптимизированы совместно. Гарсия-Молина и др. указали, что поиск и рекомендация — две стороны одной медали. Между этими двумя службами есть много общего и связей. Недавно была проведена некоторая работа по одновременной оптимизации моделей поиска и рекомендаций для повышения их точности, например совместное моделирование и оптимизация поиска и рекомендаций (JSR). Алгоритм под названием USER совместно исследует и использует поведение поиска и рекомендаций и одновременно обнаруживает интересы пользователей в обоих сценариях.
Кроме того, ведется большая работа по использованию данных одной службы для поддержки модели другой службы.Например, ZSL-TE представляет собой структуру трансферного обучения, которая использует нулевой выстрел для передачи знаний из рекомендательной системы в рекомендательную систему. модель поиска. . Однако ни одна из существующих совместных структур для поиска и рекомендации не учитывает причинно-следственную связь между поведением пользователя при поиске и поведением при просмотре в сценарии рекомендации.
Существующие модели рекомендательных систем обычно обучаются с использованием исторических данных о взаимодействии между пользователями и системой и предполагают, что все данные журнала (u, i, c) могут непредвзято отражать предпочтения пользователя u в отношении элемента i. Но в реальном мире на данные взаимодействия между пользователями и системой обычно влияют искажающие факторы, такие как смещение позиции, смещение выбора и смещение популярности. С точки зрения каузального вывода мы рассматриваем встраивание пользователя и предмета как обработку (кратко T), а обратную связь пользователя (например, щелчок) как результат (сокращенно Y). Из-за наличия вмешивающегося фактора связь между лечением и исходом имеет как каузальную, так и акаузальную части.
Рисунок 2: Рекомендуемые сценарии с причинно-следственной точки зрения
Из-за существования вмешивающегося фактора (B) есть два пути между T и Y. Красная линия представляет акаузальную связь, на которую влияет вмешивающийся фактор, а синяя линия представляет причинно-следственную связь между пользователем и элементом. Причинная и непричинная части отражают различные отношения между парами пользователь-элемент (T) и обратной связью с пользователем (Y). Поскольку существуют различные типы искажающих факторов, они часто встречаются вместе, и трудно эффективно идентифицировать непричинные связи только с помощью обучающих данных в рекомендательной модели.
Поэтому исследователи считают, что:
-
Существующие модели и методы сопоставления рекомендаций по поиску недостаточно глубоко исследуют и используют причинно-следственную связь между поведением при поиске и моделью рекомендаций;
-
Существующие рекомендательные модели, как правило, не учитывают различные погрешности, возникающие в процессе обучения, и помехи, состоящие из множественных погрешностей, будут влиять на обучение модели.
Поэтому они предлагают структуру причинного обучения, которая использует данные поиска, чтобы помочь моделям рекомендаций с использованием подхода инструментальных переменных. Сначала Т разлагается на причинную и некаузальную части, а затем эти две части реконструируются в новую Т, которая используется в качестве входных данных рекомендательной модели.
В ответ на эти проблемы исследователи предлагают структуру IV4REC (Инструментальные переменные для рекомендаций), основанную на подходе инструментальных переменных в причинно-следственном выводе и использовании данных поиска для поддержки моделей рекомендаций. Этот метод использует поисковый запрос пользователя в качестве инструментальных переменных (IV) для декомпозиции и реконструкции вложений в рекомендательной системе.
В частности, метод в основном разделен на три части: A. Построение лечения (T) и инструментальных переменных (IVs), B. Реконструкция лечения, C. Применение реконструированного лечения к рекомендательной модели.
Предварительные знания: инструментальные переменные
Инструментальные переменные — это метод оценки причинно-следственных связей, который широко используется в экономике, эпидемиологии и других областях и является одним из основных вкладов лауреата Нобелевской премии по экономике 2021 года.
На следующем рисунке показан сценарий применения инструментальных переменных, а на рисунке 3 показана причинно-следственная связь между всеми переменными. Исследователь хочет изучить причинно-следственную связь между T и Y, но на нее влияет конфаундер U, а инструментальная переменная Z — это переменная, независимая от U, но связанная с T и влияющая на Y только через T.
Рисунок 3: Причинно-следственная связь между всеми переменными
На рис. 4 показан процесс применения инструментальных переменных: сначала используйте Z для регрессии T, чтобы получить 
, а затем используйте 
Y для регрессии, 
причем отношение, полученное путем регрессии Y, можно рассматривать как причинно-следственную связь между T и Y.
Рисунок 4: Причинно-следственная связь после вмешательства инструментальной переменной
А. Конструктивная обработка
Исследователи считают, что в сценарии рекомендаций пара «использование-предмет» в данных о взаимодействии является лечением. Для рекомендаций по последовательности встраивание пользователя получается через историю просмотров пользователя, поэтому пользователя можно рассматривать как набор всех внедрений элементов в истории просмотров. Таким образом, пару «использовать-элемент» можно рассматривать как набор внедрений элементов, где элементами являются элементы-кандидаты и все элементы в истории просмотров пользователя.
Для данных журнала поисковых систем обычно сохраняется четверка «пользователь-запрос-элемент-щелчок». Для каждого нужного элемента вспомните запрос, который щелкнул по нему, выполнив поиск в данных журнала. Каждый элемент вызывает n запросов, которые щелкнули по нему, в качестве переменных инструмента. Конкретный метод: преобразовать текстовую информацию запроса в вектор с помощью модели предварительного обучения, такой как BERT, и сложить вложения n запросов, чтобы сформировать матрица.Матрица представляет собой инструментальные переменные (IV), соответствующие внедрению элемента. IV создаются для каждого элемента в истории просмотров пользователя, и эти матрицы составляют IV пользователя.
Сначала проводится обработка разложением. Целью использования внутривенных вливаний является выделение причинно-следственной связи между лечением и исходом с помощью внутривенных вливаний. Исследователи использовали IV (Z) для регрессии лечения (T), чтобы получить 
, согласно теории IV, 
и связь между Y представляет собой причинно-следственную связь между T и Y. И они используют T- 
, чтобы получить остатки 
, и думают, что 
и Y представляют непричинную связь между T и Y. В традиционных приложениях причинно-следственных рекомендаций основная цель состоит в том, чтобы исследовать причинно-следственные связи, а не предсказывать квазиконечный Y, поэтому остатки обычно удаляются напрямую.
.
Однако исследователи больше озабочены повышением точности предсказания модели рекомендаций, поэтому остаточная ошибка по-прежнему используется для повышения эффективности рекомендаций на следующем этапе.
Рисунок 5: Реконструкция лечения
Слияние лечения. Исследователи использовали метод взвешенной суммы, чтобы объединить две части лечения. Две глубокие нейронные сети (MLP) использовались для изучения 
весов суммы и суммы. 
Две сети имели одинаковую структуру, а вход был
и 
конкатенация.
C. Примените реконструированное лечение к рекомендательной модели.
Рисунок 6: Архитектура IV4Rec
Многие модели рекомендаций по последовательности (DIN, DIEN, NRHUB, BST и т. д.) имеют общую структуру, показанную слева на рисунке выше, которую мы называем базовой моделью. Базовая модель представляет элемент в виде вектора, использует историческое поведение пользователя для изучения представления пользователя и прогнозирует оценку предпочтения пользователя для элемента на основе изученного представления пользователя и элемента.
Структура IV4Rec, предложенная исследователями, может быть применена ко всем моделям, которые соответствуют базовой структуре модели, просто добавив модуль реконструкции обработки после слоя внедрения элемента. Реконструированное представление пользователя получается из реконструированных векторов элементов в его истории просмотров, и более точные прогнозы могут быть получены с использованием реконструированных векторов пользователя и элементов-кандидатов.
3. Экспериментальные результаты
Чтобы продемонстрировать эффективность предложенной структуры IV4Rec, исследователи проводят эксперименты с общедоступным набором данных новостей MIND и набором данных коротких видео Kuaishou. Метрика точности AUC используется для оценки, а две ранжирующие метрики MRR и NDCG используются для оценки, а позиции MRR и NDCG устанавливаются на 5 и 10 соответственно.
Исследователи применили структуру IV4Rec к двум рекомендательным моделям DIN и NRHUB (обозначаемым как IV4Rec-DIN, IV4Rec-NRHUB) и сравнили ее с совместной структурой поиска и рекомендаций по оптимизации JSR (обозначенной как JSR-DIN, JSR-NRHUB).
Как видно из приведенной ниже таблицы 1, по сравнению с базовой моделью без IV4Rec структура IV4Rec, предложенная в этом документе, имеет хорошее улучшение производительности по всем показателям. Кроме того, улучшение производительности IV4Rec для базовой модели намного превышает производительность JSR, платформы для совместной оптимизации поиска и рекомендаций. Все эти результаты подтверждают эффективность IV4Rec.
В наборе данных коротких видео Kuaishou NHRUB сам использует поведение при поиске в качестве пользовательской функции.Исследователи также добавили башню поведения пользователя в DIN, чтобы использовать функцию поведения при поиске.Поэтому в эксперименте с этим набором данных IV4Rec действительно является производительностью. модели улучшается с точки зрения причинно-следственной связи, а не за счет добавления функций поиска.
Таблица 1. Общие результаты эксперимента
Чтобы дополнительно изучить влияние предложенного метода с использованием остатков, исследователи опробовали различные версии платформы IV4Rec на наборе коротких видеоданных Kuaishou, и результаты показаны на рисунке 2 ниже.
Существуют различные версии: использовать только причинную часть 
; использовать только остаточную часть 
; использовать исходную обработку напрямую без модуля реконструкции; использовать реконструированную обработку посредством конкатенации 
и остатка 
; использовать реконструированную обработку в IV4Rec. Можно обнаружить, что когда две части объединяются вместе, AUC значительно улучшается. Это явление наблюдается как в NHRUB, так и в DIN, что говорит о том, что остатки также могут улучшить предсказание предпочтений пользователя, поскольку остатки по-прежнему имеют сильную корреляцию с окончательным Y. Когда цель состоит в том, чтобы сделать точные прогнозы, а не анализировать причинно-следственные связи, 
и 
являются взаимодополняющими частями.
Рисунок 2: Влияние различных методов лечения на реконструкцию.
Источник обложки: https://www.xenonstack.com/use-cases/recommendation-system/
© КОНЕЦ
Для перепечатки, пожалуйста, свяжитесь с этим официальным аккаунтом для авторизации
Внесите свой вклад или запросите освещение: [email protected]