首页-盛煌娱乐-盛煌平台,山东初物【盛煌注册登录】
2022-12-29 11:19:21
yqs888
7
首页-盛煌娱乐-盛煌平台,山东初物【盛煌注册登录】报道,据北京听力协会预估数据,我国听障人群数量已过千万。而在全球范围内有4.66亿人患有残疾性听力损失,约占全世界人口的5%。聋哑人士很特殊,他们需要使用手语进行交流,其他与常人无异,我国存在特殊教育水平在各城市中发展力度具有较大差异,国家通用手语推广程度浅,但不懂手语,与听力障碍者交流会非常困难。
在本篇内容中,ShowMeAI 借助深度学习与神经网络技术,针对这个问题从 0 构建 1 个应用程序,检测手语并将其翻译给其他人进而打破手语隔阂。
搭建和部署完成后,你可以通过摄像头,轻松测试模型,如下图所示,快来一起试试吧。这个动图中的手势代表的单词,见文末哦!
手语介绍
我们先来简单了解一下手语,它由 3 个主要部分组成:
手指拼写:这是一种手动的交流方式,用双手和手指拼写单词。每个字母都用指定的手位置表示。
单词级符号词汇:这是一个大型视频数据集,用于识别单词或字母的整个手势。
非手部特征:包括任何面部表情、嘴巴、舌头或身体姿势。
在本文中,我们先解决第①个部分的问题。我们准备使用的解决方案是基于视觉数据的神经网络
深度学习与计算机视觉
人工智能和计算机视觉的最典型的模型是卷积神经网络(CNN),它在典型的计算机视觉应用中(如图像识别、目标检测等)应用广泛。我们在本次应用的核心技术也将采用 CNN。
CNN 网络有着如上图所示的网络结构,典型的结构包括卷积层、池化层、激活层、全连接层等,对于输入图像,可以有效抽取图像内容表征,并进行分类或其他处理。卷积层等特殊结构,可以在控制参数量的前提下,保证良好的图像特征提取能力。