研究開発された技術紹介

人のコミュニケーション手段は、音声や文字、手話などと様々であるが、手話の音声や文字へ自動翻訳は実用に耐えられるデバイスが無く、開発が待たれている。本事業は、手話の自動翻訳デバイスを実現する、赤外線センサとカメラ画像を用いた高精度な動作検出技術と、動作のパターンマッチングの技術開発に取り組む

研究および評価の結果、既存研究と比較して高精度且つ、高速な動作認識を実現できた。

・単語の認識精度:20単語(5文章程度)で90%、38単語(10文章程度)で89%、76単語(20文章程度)で83%、183単語(40文章程度)で73%、370単語(80文章程度)で60%、965単語(175文章程度)で47%の認識率
・動作完了から結果出力までの応答速度;1単語あたり1秒程度

また、利用シーン(役所、病院の受け付け等)に応じて、候補となる単語を絞りこむ事で、翻訳精度、応答速度共に向上が図れる。

・人や手の動きをディスプレイ上に精密に再現
‐人の身体/手の細部を精密な3次元座標として取得
‐取得した3次元座標をディスプレイへプロット
・高精度、高速な動作検出
‐取得した3次元座標とあらかじめ作成した動作認識モデルの動作のパターンマッチング→形状、体勢、位置、動き、方向等のパターンマッチングの実現
‐認識率:370単語中60%以上
‐速度:1単語あたり1秒程度の応答速度

■特許出願
動作認識画像データの補正システム(出願番号：特願2018-48021)
単語決定システム(出願番号：特願2018-48022) ※名古屋工業大学と共同出願

身体全体の動作検知に3次元画像センサを用いて、手話を自動で翻訳する。役所や空港等に 手話フォン という、テレビ電話を介して手話通訳者に繋げるサービスが存在するが、手話翻訳システムの導入で置き換えが可能である。また、動作検知技術は手話の翻訳に限らず、作業者の異常行動検知等(作業ミス、工具の持ち出し等)にも応用が可能である。

Tesign:手話翻訳システムにより、聴覚障害者と健聴者間のコミュニケーション支援→聴覚障害者の社会進出がより活発に。

・事業終了後1年目にサンプル品(10台程度)を製作し、障害者支援施設であるつくしや、愛知県聴覚障害者協会の評価、助言を頂き改良を行う・事業終了後2年目に、量産を開始し医療機器や福祉用具の販売事業を展開する八神製作所を代理店として販売する・特定福祉製品の認定を受け、購入者の購入の経済的負担を軽減し、普及を図る・ランディングページの作成、Youtubeインストリーム広告などの販売促進活動を行う・名古屋工業大学とは継続的に手話翻訳に関する追加研究を進める

・当初の目標値について、100名分のデータx1000語の語彙数x80%の認識率の達成には至らなかった
・単語抽出の自動化
・タブレット端末筐体の小型化
・Kinectの生産終了に伴う深度センサーの置き換え(RealSenseへ置き換えの予定)

海外販売を考える上での提携先を模索中(現状、ポーランドのVoicePIN社、アメリカのMotionSavvy社とは接触有り)。