多角度、真實用戶標注，人大 & 華為推出可解釋推薦數據集 REASONER

機器之心專欄

機器之心編輯部

推薦算法的可解釋性近年來受到工業界和學術界的廣泛關注。盡管人們提出了很多模型，但如何合理地評價算法產生的推薦解釋一直是人們討論的焦點。

(資料圖片僅供參考)

目前可解釋推薦算法的評價有諸多限制，如解釋的真值不是由真實用戶標注，通常只基于單一的某個方面評估解釋質量，評估策略難以統一等。

為了進一步推動可解釋推薦領域的發展，來自中國人民大學和華為的研究者聯合構建了一個新的可解釋推薦數據集—— REASONER ( Real Users Labeled Multi-aspect Explanations for Explainable Recommendation ) 。

論文地址：https://arxiv.org/pdf/2303.00168.pdf

項目主頁：https://reasoner2023.github.io/

GitHub 地址：https://github.com/REASONER2023/reasoner2023.github.io

聯系郵箱：reasonerdataset@gmail.com

該數據集構建于視頻推薦場景，包含了多種推薦解釋目的的真值，例如，增強推薦說服力、解釋信息量以及用戶滿意度等。可廣泛應用于可解釋推薦、推薦系統糾偏以及基于心理學的推薦等領域。同時，該研究也開發了一個可解釋推薦工具包，包含了十個知名的可解釋推薦模型方便大家使用。

可解釋推薦數據集

亮點介紹

REASONER 數據集具有以下幾個亮點：

多模態的候選解釋：用戶可以根據自身偏好為每個推薦的視頻選擇文本解釋或視覺解釋。

多方面的解釋真值：從推薦說服力、解釋信息量和用戶滿意度三個方面提供推薦解釋真值。

真實用戶標注：數據集中的解釋真值的標注者正是產生交互記錄的人。

豐富的用戶特征：該研究收集了參與用戶的多方面的特征信息（已脫敏）。

數據集構建

數據集的構建主要有以下三步：

1. 搭建視頻推薦平臺，設計有關推薦可解釋性的關鍵問題

推薦平臺的元素

由于視頻內容豐富，可以提供充足的解釋候選項，該研究選擇視頻作為平臺的推薦項目。考慮到較長的標注時間會降低用戶的注意力，因此該研究將視頻時長控制在三分鐘以內。

該研究挑選了一些視頻特征作為推薦解釋的候選項，其中最重要的特征是標簽和預覽。標簽提取于視頻作者所附原始標簽、觀看者實時評論和看后評論，屬于文本特征；預覽是從視頻中提取出最具代表性的五個畫面，屬于視覺特征。

為獲得多方面的解釋真值，該研究為標注者設計了一系列的問題：

Q1: 哪些特征是您想觀看該視頻的原因？（推薦說服力）

Q2: 哪些特征最能體現該視頻的信息？（解釋信息量）

Q3: 哪些特征您最感興趣？（用戶滿意度）

Q4: 請根據您的喜好進行評分（范圍 1~5）

Q5: 您怎樣評價該視頻？（對視頻的詳細觀點）

2. 招募標注者使用上述平臺，收集他們的行為和回答

數據集的完整標注過程如圖所示：

Step1: 用戶注冊

用戶提供個人基礎信息進行平臺注冊，并完成大五人格測試題。

Step2: 平臺推薦

用戶登錄平臺，系統為其隨機推薦三個短視頻。

Step3: 用戶選擇和觀看之前問題回答

用戶查看推薦視頻的特征并選擇是否想要觀看該視頻，若決定觀看，則需回答讓其選擇觀看該視頻的特征（Q1），否則用戶需要選擇令其不想觀看該視頻的特征。

Step4: 觀看視頻

用戶觀看完整視頻。

Step5: 觀看之后問題回答

用戶觀看過視頻后，進行評分和評價（Q4 和 Q5）， 回答最能體現視頻內容的特征（Q2）和最能反應用戶興趣的特征（Q3）。

每個用戶需完成 Step1 一次，并重復 Step2~Step5 六次，因此，在完整的標注過程中，每位用戶會接收到 18 個推薦視頻并對其進行標注。

3. 數據質量控制

相比于圖像識別、實體標注等傳統標注任務中真值都是客觀的，REASONER 數據集旨在收集用戶主觀的個性化的偏好，無嚴格對錯之分，這給質量控制增添了難度。

為此，該研究精心設置了一系列的規則判斷標注結果的合理性，并移除不合理的樣本。規則的設計主要依據標注時間、不同問題的一致回答、同一問題的矛盾回答和不同問題的矛盾回答等方面。

數據集內容

REASONER 數據集包含了 2997 個用戶，4672 個視頻，6115 個標簽以及 58000 多條用戶與視頻的交互記錄，這些信息存儲在下列文件中：

REASONER-Dataset │── dataset │ ├── interaction.csv │ ├── user.csv │ ├── video.csv │ ├── bigfive.csv │ ├── tag_map.csv │ ├── video_map.csv │── preview │── README.md

1. Interaction.csv 字段說明

2. user.csv 字段說明3. video.csv 字段說明4. bigfive.csv 說明

標注人員需完成大五人格測試 ( Big Five Personality Test ) ，bigfive.csv 包含標注者對 15 個問題的回答，其中 [ 0, 1, 2, 3, 4, 5 ] 分別對應于 [ 完全不符合，大部分不符合，有點不符合，有點符合，大部分符合，完全符合 ] 。

5. tag_map.csv 字段說明

6. video_map.csv 字段說明7. preview 說明

包含了每個視頻的五個圖片預覽。

可解釋推薦工具包

連同 REASONER 數據集，該研究還開發了一個可解釋推薦算法工具包方便大家使用。該代碼庫提供了兩類廣泛研究的可解釋推薦模型，分別是基于特征的可解釋推薦模型和基于自然語言解釋的推薦模型。

現有模型

1. 基于特征的模型

EFM from Yongfeng Zhang et al.: Explicit Factor Models for Explainable Recommendation based on Phrase-level Sentiment Analysis ( SIGIR 2014 ) .

TriRank from Xiangnan He et al.: TriRank: Review-aware Explainable Recommendation by Modeling Aspects ( CIKM 2015 ) .

LRPPM from Xu Chen et al.: Learning to Rank Features for Recommendation over Multiple Categories ( SIGIR 2016 ) .

SULM from Konstantin Bauman et al.: Aspect Based Recommendations: Recommending Items with the Most Valuable Aspects Based on User Reviews. ( KDD 2017 ) .

MTER from Nan Wang et al.: Explainable Recommendation via Multi-Task Learning in Opinionated Text Data ( SIGIR 2018 ) .

AMF from Yunfeng Hou et al.: Explainable recommendation with fusion of aspect information ( WWW 2019 ) .

DERM: 區別于以上基于矩陣分解的淺層模型，該研究實現了不同形式的深度可解釋推薦模型 ( Deep Explainable Recommendation Models ) .

2. 基于自然語言解釋的模型

Att2Seq from Li Dong et al.: Learning to Generate Product Reviews from Attributes ( ACL 2017 ) .

NRT from Piji Li et al.: Neural Rating Regression with Abstractive Tips Generation for Recommendation ( SIGIR 2017 ) .

PETER from Lei Li et al.: Personalized Transformer for Explainable Recommendation ( ACL 2021 ) .

快速使用

1. 下載源代碼

git clone https://github.com/REASONER2023/reasoner2023.github.io.git

2. 快速運行

運行基于特征的模型：

python tag_predict.py --model= [ model_name ] --dataset= [ dataset ] --config= [ config_files ]

運行基于自然語言解釋的模型：

python review_generate.py --model= [ model_name ] --dataset= [ dataset ] --config= [ config_files ]

適配 RecBole

RecBole ( 伯樂 ) 是一個基于 PyTorch 開發的統一、全面和高效的推薦算法框架，目前已有 2.6k star。REASONER 數據集已經有適配 RecBole 數據格式的版本，接下來該研究會將目前的可解釋推薦算法工具包遷移到 RecBole 上，方便大家使用 RecBole 中豐富、便捷的各項功能。

展望

研究團隊相信 REAONER 數據集將為可解釋推薦領域帶來以下新機會：

多方面的可解釋推薦：通過 REASONER 數據集，人們可以同時考慮不同的解釋方面，并學習更全面的可解釋模型來為線上用戶服務。

多模態的可解釋推薦：在現實場景中，用戶總是需要感知多模態信息。借助 REASONER 數據集，人們可以圍繞多模態解釋展開研究。

具有全面人物信息的可解釋推薦：通過 REASONER 數據集，人們可以獲取脫敏的用戶信息，有助于很多方向的研究。例如，解釋的公平性，以及利用用戶特征增強解釋預測的準確性。

推薦系統其他方向：推薦系統糾偏、基于心理學的推薦算法等。

Reference

[ 1 ] Xu Chen, Jingsen Zhang, Lei Wang, Quanyu Dai, Zhenhua Dong, Ruiming Tang, Rui Zhang, Li Chen and Ji-Rong Wen. REASONER: An Explainable Recommendation Dataset with Multi-aspect Real User Labeled Ground Truths Towards more Measurable Explainable Recommendation. arXiv preprint arXiv:2303.00168 ( 2023 ) .

[ 2 ] Zhao W X, Mu S, Hou Y, et al. Recbole: Towards a unified, comprehensive and efficient framework for recommendation algorithms [ C ] //Proceedings of the 30th ACM International Conference on Information & nowledge Management. 2021: 4653-4664.

THE END

轉載請聯系本公眾號獲得授權

投稿或尋求報道：content@jiqizhixin.com