发明 202010111024X 基于多模态信息融合与决策优化的组群行为识别方法 2023
已下证 组群行为识别 人体行为识别 计算机视觉 （组群行为识别 计算机视觉） 1人
G06V40/10 G06V20/52 G06V10/764 G06V10/82 G06N3/0464 G06N3/048 G06N3/08
免责声明：以上消息未经人工确认，本平台不担保其真实性和有效性，交易前请仔细核实。
本发明公开一种基于多模态信息融合与决策优化的组群行为识别方法，首先针对待进行组群行为识别的视频，获取组群成员候选框序列，提取其对应的光流特征，并提取人体姿态分割特征作为第三重视觉线索；然后获取人体目标时空特征的双流模型并将其进行多模态信息融合(MMF)；最后将经过MMF融合后得到的两条支路分别连接GRU，并采用基于自适应类别权重的多分类器融合方法进行决策优化，进而获得组群行为标签。本发明方案在特征融合时，设计MMF特征融合算法使得时空两路特征相辅相成，信息互为补充，最终获得更好的特征表示；在决策优化方面，设计基于自适应类别权重的多分类融合方法，对分类器取舍与各类别权重进行更加精确的计算，从而取得较高的识别精度。
