Evaluation of Sign Language Recognition with Higher Resolution Face Images

Q4 Engineering Kyokai Joho Imeji Zasshi/Journal of the Institute of Image Information and Television Engineers Pub Date : 2023-01-01 DOI:10.3169/itej.77.788

Takeshi Kajiyama, Yoshiaki Shishikui

{"title":"Evaluation of Sign Language Recognition with Higher Resolution Face Images","authors":"Takeshi Kajiyama, Yoshiaki Shishikui","doi":"10.3169/itej.77.788","DOIUrl":null,"url":null,"abstract":"手話認識技術は，手話を母語とするろう者のコミュニケーションを支援する技術として実現が期待されている．手話の理解には手指と腕だけでなく顔の表情も重要であり，判別に口や目眉の形が必要な単語や表現が存在する．手話認識ではこれらすべての身体部位を含む上半身画像を解析対象とするが，深層学習を用いる手話認識では計算量・メモリー量が制約となり解像度の高い上半身画像を扱えない．本論文では，口および目眉に限り解像度の高い画像を解析し，計算量・メモリー量の増加を抑えながら認識性能の向上を図る．実験により，基準となる低解像度な上半身画像の解析と2倍解像度の口画像の解析を併用することで，判別に口の形が必要な単語について認識の改善が確認された．一方，目眉については改善効果が確認されなかった．すべての単語を対象とした統計的な認識性能を評価した結果，2倍解像度の口画像の解析が認識性能向上に有効であることが確認された．","PeriodicalId":39325,"journal":{"name":"Kyokai Joho Imeji Zasshi/Journal of the Institute of Image Information and Television Engineers","volume":null,"pages":null},"PeriodicalIF":0.0000,"publicationDate":"2023-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Kyokai Joho Imeji Zasshi/Journal of the Institute of Image Information and Television Engineers","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.3169/itej.77.788","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"Q4","JCRName":"Engineering","Score":null,"Total":0}

引用次数: 0

Abstract

手話認識技術は，手話を母語とするろう者のコミュニケーションを支援する技術として実現が期待されている．手話の理解には手指と腕だけでなく顔の表情も重要であり，判別に口や目眉の形が必要な単語や表現が存在する．手話認識ではこれらすべての身体部位を含む上半身画像を解析対象とするが，深層学習を用いる手話認識では計算量・メモリー量が制約となり解像度の高い上半身画像を扱えない．本論文では，口および目眉に限り解像度の高い画像を解析し，計算量・メモリー量の増加を抑えながら認識性能の向上を図る．実験により，基準となる低解像度な上半身画像の解析と2倍解像度の口画像の解析を併用することで，判別に口の形が必要な単語について認識の改善が確認された．一方，目眉については改善効果が確認されなかった．すべての単語を対象とした統計的な認識性能を評価した結果，2倍解像度の口画像の解析が認識性能向上に有効であることが確認された．

查看原文

微信好友朋友圈 QQ好友复制链接

本刊更多论文

基于高分辨率人脸图像的手语识别评价

手语识别技术作为支援以手语为母语的聋人交流的技术，有望实现。手语的理解不仅需要手指和手臂，面部表情也很重要，有些词语和表达需要嘴巴、眼睛和眉毛的形状来判断。手语识别以包括上述所有身体部位的上半身图像为分析对象，但使用深度学习的手语识别由于计算量和内存量受限，无法处理分辨率高的上半身图像。本论文将分析仅限口和眼眉的高分辨率图像，在抑制计算量和内存增加的同时提高识别性能。实验结果表明，通过同时分析作为基准的低分辨率的上半身图像和2倍分辨率的嘴巴图像，改善了对需要口型来判断的单词的认识。另一方面，尚未确认眼眉方面的改善效果。以所有单词为对象，对其统计识别性能进行了评价，结果证实，解析2倍分辨率的口图像对提高识别性能具有显著效果。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

求助全文

约1分钟内获得全文去求助

来源期刊

Kyokai Joho Imeji Zasshi/Journal of the Institute of Image Information and Television Engineers Engineering-Media Technology

CiteScore

0.10

自引率

0.00%

发文量