【一步步开发AI运动小程序】八、利用body-calc进行姿态识别

紫罗藤

随着人工智能技术的不断发展，阿里体育等IT大厂，推出的“乐动力”、“天天跳绳”AI运动APP，让云上运动会、线上运动会、健身打卡、AI体育指导等概念空前火热。那么，能否将这些在APP成功应用的场景搬上小程序，分享这些概念的红利呢？本系列文章就带您一步一步从零开始开发一个AI运动小程序，本系列文章将使用“云智AI运动识别小程序插件”，请先行在微信服务市场或官网了解详情。

一、支持的检测规则

人体姿态检测能力是插件的核心功能之一，插件为您封装好了基本的人体检测及逻辑运算检测规则。
1.1、基本人体检测规则

插件提供了：肢体角度匹配、平行检测、垂直检测、视角检查、站立检查、卧躺检查、人体范围检查、点位碰撞等检测规则，详情参考api-docs文档。
1.1、逻辑运算规则

插件提供了：$or、$and两个逻辑运算器，详情参考api-docs文档。
二、规则编写语法

每条检测规则都是一个Object对象，其中name和calc属性为必填，其它参数参考具体的检测规则，如：

1. //这是一个检查人体是否的检测
2. const rule = {
3.     name: '人体站立状态要求', //必填，本规则自定义名称
4.     calc: 'stand', //必填，要执行的规则计算器名称
5.     offset : 15 //选填，规则的允许偏差范围
6. };
8. //规则嵌套，利用$or和$and逻辑规则进行多规嵌套
9. const rules = {
10.   name: '右侧站立检查',
11.   calc: '$and',
12.   rules: [{
13.           name: '侧面视角',
14.         calc: 'camera-view',
15.         position: 'right'
16.   }, rule]
17. };

复制代码

三、执行检测规则运算

所有的人体检测规则，有calc.Calculator负责执行。

1. const AiSport = requirePlugin("aiSport");
2. const humanDetection = AiSport.humanDetection;
3. const calculator = AiSport.calc.Calculator;
5. const rule = {
6.     name: '人体站立状态要求',
7.     calc: 'stand',
8.     offset : 15
9. };
10. const calculator = new Calculator();
12. //抽帧
13. const context = wx.createCameraContext();
14. const listener = context.onCameraFrame((frame) => {
15.         const iamge = {
16.                 width: Number(frame.width),
17.                 height: Number(frame.height),
18.                 rawData: frame.data
19.         };
20.        
21.         //人体识别
22.         humanDetection.detectionAsync(image).then(human=>{
23.                
24.                 //对人体识别结果，进行单规则姿态检测
25.                 console.log(calculator.calculating(human, rule));
26.                
27.                 //返回值：true-通过；false-不通过
28.                
29.         });
30. });
31. listener.start();

复制代码

四、姿态检测实战

下面带您来做一个马步蹲的姿态检查实战，如下图所示：

1. const AiSport = requirePlugin("aiSport");
2. const humanDetection = AiSport.humanDetection;
3. const Calculator = AiSport.calc.Calculator;
5. //下肢要求
6. const foot = {
7.         name: '脚90度检测',
8.         calc: '$or',
9.         rules: [{
10.                 name: '左脚90度弯曲',
11.                 calc: 'match-angle',
12.                 angleKey: 'left_knee',
13.                 secondKey: 'left_hip',
14.                 thirdKey: 'left_ankle',
15.                 angle: 90,
16.                 offset: 25
17.         }, {
18.                 name: '右脚90度弯曲',
19.                 calc: 'match-angle',
20.                 angleKey: 'right_knee',
21.                 secondKey: 'right_hip',
22.                 thirdKey: 'right_ankle',
23.                 angle: 90,
24.                 offset: 25
25.         }]
26. };
28. const arm = {
29.         name: '手臂180度检测',
30.         calc: '$or',
31.         rules: [{
32.                 name: '左手180度伸直',
33.                 calc: 'match-angle',
34.                 angleKey: 'left_elbow',
35.                 secondKey: 'left_shoulder',
36.                 thirdKey: 'left_wrist',
37.                 angle: 180,
38.                 offset: 25
39.         }, {
40.                 name: '右手180度伸直',
41.                 calc: 'match-angle',
42.                 angleKey: 'right_elbow',
43.                 secondKey: 'right_shoulder',
44.                 thirdKey: 'right_wrist',
45.                 angle: 180,
46.                 offset: 25
47.         }]
48. };
50. const shoulder = {
51.         name: '腋下夹角90度检测',
52.         calc: '$or',
53.         rules: [{
54.                 name: '左腋90度',
55.                 calc: 'match-angle',
56.                 angleKey: 'left_shoulder',
57.                 secondKey: 'left_elbow',
58.                 thirdKey: 'left_hip',
59.                 angle: 90,
60.                 offset: 25
61.         }, {
62.                 name: '右腋90度',
63.                 calc: 'match-angle',
64.                 angleKey: 'right_shoulder',
65.                 secondKey: 'right_elbow',
66.                 thirdKey: 'right_hip',
67.                 angle: 90,
68.                 offset: 25
69.         }]
70. };
72. const rule = {
73.         name: '马步蹲姿势检查',
74.         calc: '$and',
75.         rules: [{
76.                 name: '全身进入图像范围内检查',
77.                 calc: 'whole'
78.         }, foot, arm, shoulder]
79. };
80. const calculator = new Calculator();
82. //抽帧
83. const context = wx.createCameraContext();
84. const listener = context.onCameraFrame((frame) => {
85.         const iamge = {
86.                 width: Number(frame.width),
87.                 height: Number(frame.height),
88.                 rawData: frame.data
89.         };
90.        
91.         //人体识别
92.         humanDetection.detectionAsync(image).then(human=>{
93.                
94.                 //执行检测
95.                 console.log(calculator.calculating(human, rule));
96.                
97.         });
98. });
99. listener.start();

复制代码

五、后记

body-calc的检测规则都是对象化，所以开发者实际应用中可以考虑采用JSON方式持久化，放置在后端，便于运动、姿态的检测更新、配置化等。

下篇将为您介运动调试分析工具的使用，敬请期待...

来源:https://www.cnblogs.com/alphaair/p/17432480.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！