翼度科技»论坛 编程开发 PHP 查看内容

基于Surprise协同过滤实现短视频推荐方法示例

5

主题

5

帖子

15

积分

新手上路

Rank: 1

积分
15
前言

前面一文介绍了通过基础的web项目结构实现简单的内容推荐,与其说那个是推荐不如说是一个排序算法。因为热度计算方式虽然解决了内容的时效质量动态化。但是相对用户而言,大家看到的都是几乎一致的内容(不一样也可能只是某时间里某视频的排前或靠后),没有做到个性化的千人千面。      
尽管如此,基于内容的热度推荐依然有他独特的应用场景——热门榜单。所以只需要把这个功能换一个模块就可以了,将个性化推荐留给更擅长做这方面的算法。      
当然了,做推荐系统的方法很多,平台层面的像spark和今天要讲的Surprise。方法层面可以用深度学习做,也可以用协同过滤,或综合一起等等。大厂可能就更完善了,在召回阶段就有很多通道,比如基于卷积截帧识别视频内容,文本相似度计算和现有数据支撑,后面又经过清洗,粗排,精排,重排等等流程,可能他们更多的是要保证平台内容的多样性。        
那我们这里依然走入门实际使用为主,能让我们的项目快速对接上个性化推荐,以下就是在原因PHP项目结构上对接Surprise,实现用户和物品的相似度推荐。

环境


  • python3.8
  • Flask2.0
  • pandas2.0
  • mysql-connector-python     
  • surpriseopenpyxlgunicorn

Surprise介绍

Surprise库是一款用于构建和分析推荐系统的工具库,他提供了多种推荐算法,包括基线算法、邻域方法、基于矩阵分解的算法(如SVD、PMF、SVD++、NMF)等。内置了多种相似性度量方法,如余弦相似性、均方差(MSD)、皮尔逊相关系数等。这些相似性度量方法可以用于评估用户之间的相似性,从而为推荐系统提供重要的数据支持。

协同过滤数据集

既然要基于工具库完成协同过滤推荐,自然就需要按该库的标准进行。Surprise也和大多数协同过滤框架类似,数据集只需要有用户对某个物品打分分值,如果自己没有可以在网上下载免费的Movielens或Jester,以下是我根据业务创建的表格,自行参考。
  1. CREATE TABLE `short_video_rating` (
  2.   `id` int(11) NOT NULL AUTO_INCREMENT,
  3.   `user_id` varchar(120) DEFAULT '',
  4.   `item_id` int(11) DEFAULT '0',
  5.   `rating` int(11) unsigned DEFAULT '0' COMMENT '评分',
  6.   `scoring_set` json DEFAULT NULL COMMENT '行为集合',
  7.   `create_time` int(11) DEFAULT '0',
  8.   `action_day_time` int(11) DEFAULT '0' COMMENT '更新当天时间',
  9.   `update_time` int(11) DEFAULT '0' COMMENT '更新时间',
  10.   `delete_time` int(11) DEFAULT '0' COMMENT '删除时间',
  11.   PRIMARY KEY (`id`)
  12. ) ENGINE=InnoDB AUTO_INCREMENT=107 DEFAULT CHARSET=utf8mb4 COMMENT='用户对视频评分表';
复制代码
业务介绍

Web业务端通过接口或埋点,在用户操作的地方根据预设的标准记录评分记录。当打分表有数据后,用python将SQL记录转为表格再导入Surprise,根据不同的算法训练,最后根据接收的参数返回对应的推荐top列表。python部分由Flask启动的服务,与php进行http交互,后面将以片段代码说明。


编码部分


1. PHP请求封装
  1. <?php
  2. /**
  3. * Created by ZERO开发.
  4. * User: 北桥苏
  5. * Date: 2023/6/26 0026
  6. * Time: 14:43
  7. */
  8. namespace app\common\service;
  9. class Recommend
  10. {
  11.     private $condition;
  12.     private $cfRecommends = [];
  13.     private $output = [];
  14.     public function __construct($flag = 1, $lastRecommendIds = [], $userId = "")
  15.     {
  16.         $this->condition['flag'] = $flag;
  17.         $this->condition['last_recommend_ids'] = $lastRecommendIds;
  18.         $this->condition['user_id'] = $userId;
  19.     }
  20.     public function addObserver($cfRecommend)
  21.     {
  22.         $this->cfRecommends[] = $cfRecommend;
  23.     }
  24.     public function startRecommend()
  25.     {
  26.         foreach ($this->cfRecommends as $cfRecommend) {
  27.             $res = $cfRecommend->recommend($this->condition);
  28.             $this->output = array_merge($res, $this->output);
  29.         }
  30.         $this->output = array_values(array_unique($this->output));
  31.         return $this->output;
  32.     }
  33. }
  34. abstract class cfRecommendBase
  35. {
  36.     protected $cfGatewayUrl = "127.0.0.1:6016";
  37.     protected $limit = 15;
  38.     public function __construct($limit = 15)
  39.     {
  40.         $this->limit = $limit;
  41.         $this->cfGatewayUrl = config('api.video_recommend.gateway_url');
  42.     }
  43.     abstract public function recommend($condition);
  44. }
  45. class mcf extends cfRecommendBase
  46. {
  47.     public function recommend($condition)
  48.     {
  49.         //echo "mcf\n";
  50.         $videoIdArr = [];
  51.         $flag = $condition['flag'] ?? 1;
  52.         $userId = $condition['user_id'] ?? '';
  53.         $url = "{$this->cfGatewayUrl}/mcf_recommend";
  54.         if ($flag == 1 && $userId) {
  55.             //echo "mcf2\n";
  56.             $param['raw_uid'] = (string)$userId;
  57.             $param['top_k'] = $this->limit;
  58.             $list = httpRequest($url, $param, 'json');
  59.             $videoIdArr = json_decode($list, true) ?? [];
  60.         }
  61.         return $videoIdArr;
  62.     }
  63. }
  64. class icf extends cfRecommendBase
  65. {
  66.     public function recommend($condition)
  67.     {
  68.         //echo "icf\n";
  69.         $videoIdArr = [];
  70.         $flag = $condition['flag'] ?? 1;
  71.         $userId = $condition['user_id'] ?? '';
  72.         $lastRecommendIds = $condition['last_recommend_ids'] ?? [];
  73.         $url = "{$this->cfGatewayUrl}/icf_recommend";
  74.         if ($flag > 1 && $lastRecommendIds && $userId) {
  75.             //echo "icf2\n";
  76.             $itemId = $lastRecommendIds[0] ?? 0;
  77.             $param['raw_item_id'] = $itemId;
  78.             $param['top_k'] = $this->limit;
  79.             $list = httpRequest($url, $param, 'json');
  80.             $videoIdArr = json_decode($list, true) ?? [];
  81.         }
  82.         return $videoIdArr;
  83.     }
  84. }
复制代码
2. PHP发起推荐获取

由于考虑到前期视频存量不足,是采用协同过滤加热度榜单结合的方式,前端获取视频推荐,接口返回视频推荐列表的同时也带了下次请求的标识(分页码)。这个分页码用于当协同过滤服务挂了或没有推荐时,放在榜单列表的分页。但是又要保证分页数是否实际有效,所以当页码太大没有数据返回就通过递归重置为第一页,也把页码返回前端让数据获取更流畅。
  1. public static function recommend($flag, $videoIds, $userId)
  2.     {
  3.         $nexFlag = $flag + 1;
  4.         $formatterVideoList = [];
  5.         try {
  6.             // 协同过滤推荐
  7.             $isOpen = config('api.video_recommend.is_open');
  8.             $cfVideoIds = [];
  9.             if ($isOpen == 1) {
  10.                 $recommend = new Recommend($flag, $videoIds, $userId);
  11.                 $recommend->addObserver(new mcf(15));
  12.                 $recommend->addObserver(new icf(15));
  13.                 $cfVideoIds = $recommend->startRecommend();
  14.             }
  15.             // 已读视频
  16.             $nowTime = strtotime(date('Ymd'));
  17.             $timeBefore = $nowTime - 60 * 60 * 24 * 100;
  18.             $videoIdsFilter = self::getUserVideoRatingByTime($userId, $timeBefore);
  19.             $cfVideoIds = array_diff($cfVideoIds, $videoIdsFilter);
  20.             // 违规视频过滤
  21.             $videoPool = [];
  22.             $cfVideoIds && $videoPool = ShortVideoModel::listByOrderRaw($cfVideoIds, $flag);
  23.             // 冷启动推荐
  24.             !$videoPool && $videoPool = self::hotRank($userId, $videoIdsFilter, $flag);
  25.             if ($videoPool) {
  26.                 list($nexFlag, $videoList) = $videoPool;
  27.                 $formatterVideoList = self::formatterVideoList($videoList, $userId);
  28.             }
  29.         } catch (\Exception $e) {
  30.             $preFileName = str::snake(__FUNCTION__);
  31.             $path = self::getClassName();
  32.             write_log("msg:" . $e->getMessage(), $preFileName . "_error", $path);
  33.         }
  34.         return [$nexFlag, $formatterVideoList];
  35.     }
复制代码
3. 数据集生成
  1. import os
  2. import mysql.connector
  3. import datetime
  4. import pandas as pd
  5. now = datetime.datetime.now()
  6. year = now.year
  7. month = now.month
  8. day = now.day
  9. fullDate = str(year) + str(month) + str(day)
  10. dir_data = './collaborative_filtering/cf_excel'
  11. file_path = '{}/dataset_{}.xlsx'.format(dir_data, fullDate)
  12. db_config = {
  13.     "host": "127.0.0.1",
  14.     "database": "database",
  15.     "user": "user",
  16.     "password": "password"
  17. }
  18. if not os.path.exists(file_path):
  19.     cnx = mysql.connector.connect(user=db_config['user'], password=db_config['password'],
  20.                                   host=db_config['host'], database=db_config['database'])
  21.     df = pd.read_sql_query("SELECT user_id, item_id, rating FROM short_video_rating", cnx)
  22.     print('---------------插入数据集----------------')
  23.     # 将数据帧写入Excel文件
  24.     df.to_excel(file_path, index=False)
  25. if not os.path.exists(file_path):
  26.     raise IOError("Dataset file is not exists!")
复制代码
4. 协同过滤服务
  1. from flask import Flask, request, json, Response, abort
  2. from collaborative_filtering import cf_item
  3. from collaborative_filtering import cf_user
  4. from collaborative_filtering import cf_mix
  5. from werkzeug.middleware.proxy_fix import ProxyFix
  6. app = Flask(__name__)
  7. @app.route('/')
  8. def hello_world():
  9.     return abort(404)
  10. @app.route('/mcf_recommend', methods=["POST", "GET"])
  11. def get_mcf_recommendation():
  12.     json_data = request.get_json()
  13.     raw_uid = json_data.get("raw_uid")
  14.     top_k = json_data.get("top_k")
  15.     recommend_result = cf_mix.collaborative_fitlering(raw_uid, top_k)
  16.     return Response(json.dumps(recommend_result), mimetype='application/json')
  17. @app.route('/ucf_recommend', methods=["POST", "GET"])
  18. def get_ucf_recommendation():
  19.     json_data = request.get_json()
  20.     raw_uid = json_data.get("raw_uid")
  21.     top_k = json_data.get("top_k")
  22.     recommend_result = cf_user.collaborative_fitlering(raw_uid, top_k)
  23.     return Response(json.dumps(recommend_result), mimetype='application/json')
  24. @app.route('/icf_recommend', methods=["POST", "GET"])
  25. def get_icf_recommendation():
  26.     json_data = request.get_json()
  27.     raw_item_id = json_data.get("raw_item_id")
  28.     top_k = json_data.get("top_k")
  29.     recommend_result = cf_item.collaborative_fitlering(raw_item_id, top_k)
  30.     return Response(json.dumps(recommend_result), mimetype='application/json')
  31. if __name__ == '__main__':
  32.     app.run(host="0.0.0.0",
  33.             debug=True,
  34.             port=6016
  35.             )
复制代码
5. 基于用户推荐
  1. # -*- coding: utf-8 -*-
  2. # @File    : cf_recommendation.py
  3. from __future__ import (absolute_import, division, print_function,
  4.                         unicode_literals)
  5. from collections import defaultdict
  6. import os
  7. from surprise import Dataset
  8. from surprise import Reader
  9. from surprise import BaselineOnly
  10. from surprise import KNNBasic
  11. from surprise import KNNBaseline
  12. from heapq import nlargest
  13. import pandas as pd
  14. import datetime
  15. import time
  16. def get_top_n(predictions, n=10):
  17.     top_n = defaultdict(list)
  18.     for uid, iid, true_r, est, _ in predictions:
  19.         top_n[uid].append((iid, est))
  20.     for uid, user_ratings in top_n.items():
  21.         top_n[uid] = nlargest(n, user_ratings, key=lambda s: s[1])
  22.     return top_n
  23. class PredictionSet():
  24.     def __init__(self, algo, trainset, user_raw_id=None, k=40):
  25.         self.algo = algo
  26.         self.trainset = trainset
  27.         self.k = k
  28.         if user_raw_id is not None:
  29.             self.r_uid = user_raw_id
  30.             self.i_uid = trainset.to_inner_uid(user_raw_id)
  31.             self.knn_userset = self.algo.get_neighbors(self.i_uid, self.k)
  32.             user_items = set([j for (j, _) in self.trainset.ur[self.i_uid]])
  33.             self.neighbor_items = set()
  34.             for nnu in self.knn_userset:
  35.                 for (j, _) in trainset.ur[nnu]:
  36.                     if j not in user_items:
  37.                         self.neighbor_items.add(j)
  38.     def user_build_anti_testset(self, fill=None):
  39.         fill = self.trainset.global_mean if fill is None else float(fill)
  40.         anti_testset = []
  41.         user_items = set([j for (j, _) in self.trainset.ur[self.i_uid]])
  42.         anti_testset += [(self.r_uid, self.trainset.to_raw_iid(i), fill) for
  43.                          i in self.neighbor_items if
  44.                          i not in user_items]
  45.         return anti_testset
  46. def user_build_anti_testset(trainset, user_raw_id, fill=None):
  47.     fill = trainset.global_mean if fill is None else float(fill)
  48.     i_uid = trainset.to_inner_uid(user_raw_id)
  49.     anti_testset = []
  50.     user_items = set([j for (j, _) in trainset.ur[i_uid]])
  51.     anti_testset += [(user_raw_id, trainset.to_raw_iid(i), fill) for
  52.                      i in trainset.all_items() if
  53.                      i not in user_items]
  54.     return anti_testset
  55. # ================= surprise 推荐部分 ====================
  56. def collaborative_fitlering(raw_uid, top_k):
  57.     now = datetime.datetime.now()
  58.     year = now.year
  59.     month = now.month
  60.     day = now.day
  61.     fullDate = str(year) + str(month) + str(day)
  62.     dir_data = './collaborative_filtering/cf_excel'
  63.     file_path = '{}/dataset_{}.xlsx'.format(dir_data, fullDate)
  64.     if not os.path.exists(file_path):
  65.         raise IOError("Dataset file is not exists!")
  66.     # 读取数据集#####################
  67.     alldata = pd.read_excel(file_path)
  68.     reader = Reader(line_format='user item rating')
  69.     dataset = Dataset.load_from_df(alldata, reader=reader)
  70.     # 所有数据生成训练集
  71.     trainset = dataset.build_full_trainset()
  72.     # ================= BaselineOnly  ==================
  73.     bsl_options = {'method': 'sgd', 'learning_rate': 0.0005}
  74.     algo_BaselineOnly = BaselineOnly(bsl_options=bsl_options)
  75.     algo_BaselineOnly.fit(trainset)
  76.     # 获得推荐结果
  77.     rset = user_build_anti_testset(trainset, raw_uid)
  78.     # 测试休眠5秒,让客户端超时
  79.     # time.sleep(5)
  80.     # print(rset)
  81.     # exit()
  82.     predictions = algo_BaselineOnly.test(rset)
  83.     top_n_baselineonly = get_top_n(predictions, n=5)
  84.     # ================= KNNBasic  ==================
  85.     sim_options = {'name': 'pearson', 'user_based': True}
  86.     algo_KNNBasic = KNNBasic(sim_options=sim_options)
  87.     algo_KNNBasic.fit(trainset)
  88.     # 获得推荐结果  ---  只考虑 knn 用户的
  89.     predictor = PredictionSet(algo_KNNBasic, trainset, raw_uid)
  90.     knn_anti_set = predictor.user_build_anti_testset()
  91.     predictions = algo_KNNBasic.test(knn_anti_set)
  92.     top_n_knnbasic = get_top_n(predictions, n=top_k)
  93.     # ================= KNNBaseline  ==================
  94.     sim_options = {'name': 'pearson_baseline', 'user_based': True}
  95.     algo_KNNBaseline = KNNBaseline(sim_options=sim_options)
  96.     algo_KNNBaseline.fit(trainset)
  97.     # 获得推荐结果  ---  只考虑 knn 用户的
  98.     predictor = PredictionSet(algo_KNNBaseline, trainset, raw_uid)
  99.     knn_anti_set = predictor.user_build_anti_testset()
  100.     predictions = algo_KNNBaseline.test(knn_anti_set)
  101.     top_n_knnbaseline = get_top_n(predictions, n=top_k)
  102.     # =============== 按比例生成推荐结果 ==================
  103.     recommendset = set()
  104.     for results in [top_n_baselineonly, top_n_knnbasic, top_n_knnbaseline]:
  105.         for key in results.keys():
  106.             for recommendations in results[key]:
  107.                 iid, rating = recommendations
  108.                 recommendset.add(iid)
  109.     items_baselineonly = set()
  110.     for key in top_n_baselineonly.keys():
  111.         for recommendations in top_n_baselineonly[key]:
  112.             iid, rating = recommendations
  113.             items_baselineonly.add(iid)
  114.     items_knnbasic = set()
  115.     for key in top_n_knnbasic.keys():
  116.         for recommendations in top_n_knnbasic[key]:
  117.             iid, rating = recommendations
  118.             items_knnbasic.add(iid)
  119.     items_knnbaseline = set()
  120.     for key in top_n_knnbaseline.keys():
  121.         for recommendations in top_n_knnbaseline[key]:
  122.             iid, rating = recommendations
  123.             items_knnbaseline.add(iid)
  124.     rank = dict()
  125.     for recommendation in recommendset:
  126.         if recommendation not in rank:
  127.             rank[recommendation] = 0
  128.         if recommendation in items_baselineonly:
  129.             rank[recommendation] += 1
  130.         if recommendation in items_knnbasic:
  131.             rank[recommendation] += 1
  132.         if recommendation in items_knnbaseline:
  133.             rank[recommendation] += 1
  134.     max_rank = max(rank, key=lambda s: rank[s])
  135.     if max_rank == 1:
  136.         return list(items_baselineonly)
  137.     else:
  138.         result = nlargest(top_k, rank, key=lambda s: rank[s])
  139.         return list(result)
  140.         # print("排名结果: {}".format(result))
复制代码
6. 基于物品推荐
  1. -*- coding: utf-8 -*-
  2. from __future__ import (absolute_import, division, print_function,
  3.                         unicode_literals)
  4. from collections import defaultdict
  5. import io
  6. import os
  7. from surprise import SVD, KNNBaseline, Reader, Dataset
  8. import pandas as pd
  9. import datetime
  10. import mysql.connector
  11. import pickle
  12. # ================= surprise 推荐部分 ====================
  13. def collaborative_fitlering(raw_item_id, top_k):
  14.     now = datetime.datetime.now()
  15.     year = now.year
  16.     month = now.month
  17.     day = now.day
  18.     fullDate = str(year) + str(month) + str(day)
  19.     # dir_data = './collaborative_filtering/cf_excel'
  20.     dir_data = './cf_excel'
  21.     file_path = '{}/dataset_{}.xlsx'.format(dir_data, fullDate)
  22.     if not os.path.exists(file_path):
  23.         raise IOError("Dataset file is not exists!")
  24.     # 读取数据集#####################
  25.     alldata = pd.read_excel(file_path)
  26.     reader = Reader(line_format='user item rating')
  27.     dataset = Dataset.load_from_df(alldata, reader=reader)
  28.     # 使用协同过滤必须有这行,将我们的算法运用于整个数据集,而不进行交叉验证,构建了新的矩阵
  29.     trainset = dataset.build_full_trainset()
  30.     # print(pd.DataFrame(list(trainset.global_mean())))
  31.     # exit()
  32.     # 度量准则:pearson距离,协同过滤:基于item
  33.     sim_options = {'name': 'pearson_baseline', 'user_based': False}
  34.     algo = KNNBaseline(sim_options=sim_options)
  35.     algo.fit(trainset)
  36.     # 将训练好的模型序列化到磁盘上
  37.     # with open('./cf_models/cf_item_model.pkl', 'wb') as f:
  38.     #     pickle.dump(algo, f)
  39.     #从磁盘中读取训练好的模型
  40.     # with open('cf_item_model.pkl', 'rb') as f:
  41.     #     algo = pickle.load(f)
  42.     # 转换为内部id
  43.     toy_story_inner_id = algo.trainset.to_inner_iid(raw_item_id)
  44.     # 根据内部id找到最近的10个邻居
  45.     toy_story_neighbors = algo.get_neighbors(toy_story_inner_id, k=top_k)
  46.     # 将10个邻居的内部id转换为item id也就是raw
  47.     toy_story_neighbors_rids = (algo.trainset.to_raw_iid(inner_id) for inner_id in toy_story_neighbors)
  48.     result = list(toy_story_neighbors_rids)
  49.     return result
  50.     # print(list(toy_story_neighbors_rids))
  51. if __name__ == "__main__":
  52.     res = collaborative_fitlering(15, 20)
  53.     print(res)
复制代码
其他

推荐服务生产部署开发环境下可以通过python recommend_service.py启动,后面部署环境需要用到gunicorn,方式是安装后配置环境变量。代码里导入werkzeug.middleware.proxy_fix, 修改以下的启动部分以下内容,启动改为gunicorn -w 5 -b 0.0.0.0:6016 app:appapp.wsgi_app = ProxyFix(app.wsgi_app)
app.run()
模型本地保存随着业务数据的累计,自然需要训练的数据集也越来越大,所以后期关于模型训练周期,可以缩短。也就是定时训练模型后保存到本地,然后根据线上的数据做出推荐,模型存储与读取方法如下。
2.1. 模型存储
  1. sim_options = {'name': 'pearson_baseline', 'user_based': False}
  2. algo = KNNBaseline(sim_options=sim_options)
  3. algo.fit(trainset)
  4. # 将训练好的模型序列化到磁盘上
  5. with open('./cf_models/cf_item_model.pkl', 'wb') as f:
  6.      pickle.dump(algo, f)
复制代码
2.2. 模型读取
  1. with open('cf_item_model.pkl', 'rb') as f:
  2.         algo = pickle.load(f)
  3.     # 转换为内部id
  4.     toy_story_inner_id = algo.trainset.to_inner_iid(raw_item_id)
  5.     # 根据内部id找到最近的10个邻居
  6.     toy_story_neighbors = algo.get_neighbors(toy_story_inner_id, k=top_k)
  7.     # 将10个邻居的内部id转换为item id也就是raw
  8.     toy_story_neighbors_rids = (algo.trainset.to_raw_iid(inner_id) for inner_id in toy_story_neighbors)
  9.     result = list(toy_story_neighbors_rids)
  10.     return result
复制代码
写在最后

上面的依然只是实现了推荐系统的一小部分,在做数据召回不管可以对视频截帧还可以分离音频,通过卷积神经网络识别音频种类和视频大致内容。再根据用户以往浏览记录形成的标签实现内容匹配等等,这个还要后期不断学习和完善的。​
以上就是基于Surprise协同过滤实现短视频推荐方法示例的详细内容,更多关于Surprise短视频推荐的资料请关注脚本之家其它相关文章!

来源:https://www.jb51.net/program/2911788r9.htm
免责声明:由于采集信息均来自互联网,如果侵犯了您的权益,请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x

举报 回复 使用道具