文字サイズ
標準
色の変更

サポイン技術紹介

  1. トップ
  2. サポイン技術検索
  3. Tesign(テサイン):手話翻訳システムの開発により、聴覚障碍者の社会進出をより活発に!

情報処理

Tesign(テサイン):手話翻訳システムの開発により、聴覚障碍者の社会進出をより活発に!

愛知県

株式会社ユニオンソフトウェアマネイジメント

2020年3月20日更新

プロジェクトの基本情報

プロジェクト名 手話の自動翻訳を実現させる高精度な動作検出と動作のパターンマッチングの技術開発
基盤技術分野 情報処理
対象となる産業分野 医療・健康・介護、航空・宇宙、自動車、ロボット、農業、産業機械、情報通信、スマート家電、エレクトロニクス、物流・流通
産業分野でのニーズ対応 高機能化(新たな機能の付与・追加)、高性能化(既存機能の性能向上)、高性能化(小型化・軽量化)、高性能化(精度向上)、高効率化(同じ生産量に対するリソースの削減)、高効率化(工程短縮)、高効率化(人件費削減)、高効率化(生産性増加)
キーワード 手話、翻訳、動作検出、座標解析、コミュニケーション
事業化状況 実用化に成功し事業化に向けて取り組み中
事業実施年度 平成28年度~平成30年度

プロジェクトの詳細

事業概要

人のコミュニケーション手段は、音声や文字、手話などと様々であるが、手話の音声や文字へ自動翻訳は実用に耐えられるデバイスが無く、開発が待たれている。本事業は、手話の自動翻訳デバイスを実現する、赤外線センサとカメラ画像を用いた高精度な動作検出技術と、動作のパターンマッチングの技術開発に取り組む

開発した技術のポイント

研究および評価の結果、既存研究と比較して高精度且つ、高速な動作認識を実現できた。

・単語の認識精度:20単語(5文章程度)で90%、38単語(10文章程度)で89%、76単語(20文章程度)で83%、183単語(40文章程度)で73%、370単語(80文章程度)で60%、965単語(175文章程度)で47%の認識率
・動作完了から結果出力までの応答速度;1単語あたり1秒程度

また、利用シーン(役所、病院の受け付け等)に応じて、候補となる単語を絞りこむ事で、翻訳精度、応答速度共に向上が図れる。

具体的な成果

・人や手の動きをディスプレイ上に精密に再現
‐人の身体/手の細部を精密な3次元座標として取得
‐取得した3次元座標をディスプレイへプロット
・高精度、高速な動作検出
‐取得した3次元座標とあらかじめ作成した動作認識モデルの動作のパターンマッチング→形状、体勢、位置、動き、方向等のパターンマッチングの実現
‐認識率:370単語中60%以上
‐速度:1単語あたり1秒程度の応答速度

手話翻訳システム画面
知財出願や広報活動等の状況

■特許出願
動作認識画像データの補正システム(出願番号:特願2018-48021)
単語決定システム(出願番号:特願2018-48022) ※名古屋工業大学と共同出願

研究開発成果の利用シーン

身体全体の動作検知に3次元画像センサを用いて、手話を自動で翻訳する。役所や空港等に 手話フォン という、テレビ電話を介して手話通訳者に繋げるサービスが存在するが、手話翻訳システムの導入で置き換えが可能である。また、動作検知技術は手話の翻訳に限らず、作業者の異常行動検知等(作業ミス、工具の持ち出し等)にも応用が可能である。

実用化・事業化の状況

事業化状況の詳細
ものづくりAI・IoT展

2018年10月にCEATEC JAPANへ出展し、千葉市職員から販売開始の際には連絡が欲しいとのリクエストを得た。2019年10月にはものづくりAI/IoT展へ出展し、購入予約の受け付けを開始。展示会の場では、購入予約に結びつかなかったが、後日、興味を持たれた大日本印刷から質問の連絡があった。2019年11月にはTeSignの販促サイト(http://tesign.jp/)を開設した。

提携可能な製品・サービス内容

設計・製作、製品製造、試験・分析・評価、共同研究・共同開発、技術ライセンス

製品・サービスのPRポイント

Tesign:手話翻訳システムにより、聴覚障害者と健聴者間のコミュニケーション支援→聴覚障害者の社会進出がより活発に。

今後の実用化・事業化の見通し

・事業終了後1年目にサンプル品(10台程度)を製作し、障害者支援施設であるつくしや、愛知県聴覚障害者協会の評価、助言を頂き改良を行う・事業終了後2年目に、量産を開始し医療機器や福祉用具の販売事業を展開する八神製作所を代理店として販売する・特定福祉製品の認定を受け、購入者の購入の経済的負担を軽減し、普及を図る・ランディングページの作成、Youtubeインストリーム広告などの販売促進活動を行う・名古屋工業大学とは継続的に手話翻訳に関する追加研究を進める

実用化・事業化にあたっての課題

・当初の目標値について、100名分のデータx1000語の語彙数x80%の認識率の達成には至らなかった
・単語抽出の自動化
・タブレット端末筐体の小型化
・Kinectの生産終了に伴う深度センサーの置き換え(RealSenseへ置き換えの予定)

手話翻訳システムの筐体
事業化に向けた提携や連携の希望

海外販売を考える上での提携先を模索中(現状、ポーランドのVoicePIN社、アメリカのMotionSavvy社とは接触有り)。

プロジェクトの実施体制

サポイン事業者 株式会社ユニオンソフトウェアマネイジメント
事業管理機関 公益財団法人科学技術交流財団
研究等実施機関 国立大学法人名古屋工業大学
アドバイザー 株式会社八神製作所

サポイン事業者 企業情報

企業名 株式会社ユニオンソフトウェアマネイジメント(法人番号:3180001063199)
事業内容 情報通信業・ソフトウェア開発
社員数 27 名
本社所在地 〒460-0003 愛知県名古屋市中区錦一丁目13-26
ホームページ http://www.union-soft.co.jp/
連絡先窓口 尾山 隆二
メールアドレス info@union-soft.co.jp
電話番号 052-219-5020