研究目的

　日常生活を送る上で買い物は重要な行動の1つであると考えられます．そして，私達は視覚情報に頼って商品名や消費・賞味期限などを認識し，商品を選択しています．しかしながら，晴眼者と同じように視覚障害者が商品を吟味しながら買い物をすることはとても難しいことです．
　実際に全く目の見えない視覚障害者からは，「陳列された商品の商品名がわからない」や「価格や消費期限などを知りたい」などの意見があります．
　そこで本研究では，図1のようなディジタルカメラと小型計算機などを用いて，価格と商品名，さらに消費・賞味期限を取得し，利用者へ伝達する支援システムの研究・開発を行っています．

研究内容

　全く目の見えない視覚障害者は，よく行く店舗ならば商品棚までは行けるということが，聞き取り調査によりわかっています． 提案するシステムでは，商品価格，商品名や商品の位置を取得したい場合，図2(a)のように商品棚ラベルを撮影することで取得できるような仕組みになっています． また消費・賞味期限の場合は，図2(b)のように食品表示ラベルを撮影することで，取得できるようになっています．
　視覚障害者が商品棚ラベルを撮影する場合，図3(a)のように画像中に複雑な背景や傾きが含まれる可能性は高いです． さらに食品表示ラベルの撮影では，図4(a)のように視覚障害者が商品を逆さに持って撮影することも考えられます．
　本研究では，傾き補正などの処理によって，図3(b)と図4(c)のようにラベル部分や消費期限の日付部分を抽出できるように取り組んでいます． また，紙パックなどは図5のようにミシン打抜きで消費・賞味期限が記載されていることが多く，OCRによる認識が困難です． そのため，そのような特殊な文字でも認識できるような支援システムを目指しています．

研究成果

1. 田中　伸人，竹内　義則，松本　哲也，工藤　博章，大西　昇，”視覚障害者向けの商品情報取得支援システム−カメラ画像からの消費期限の抽出−”， 映像情報メディア学会 ME，pp.177-182，Feb. 2012．
2. 田中　伸人，竹内　義則，松本　哲也，工藤　博章，大西　昇，”視覚障害者向けの消費期限取得支援システム”， 電気関係学会東海支部講演論文集，H3-4，Sep. 2011．
3. 土井　泰法，竹内　義則，松本　哲也，工藤　博章，大西　昇，”視覚障害者の商品情報取得を支援する画像−音声変換システム”， 映像情報メディア学会，HI，pp.9-12，Mar. 2011．
4. 土井　泰法，竹内　義則，松本　哲也，工藤　博章，大西　昇，”ラベル要素検出とモデル照合による商品棚ラベル認識”， 信学技報 PRMU，Vol.110，PRMU2010-64，pp.69-74，Sep. 2010．
5. 土井　泰法，竹内　義則，松本　哲也，工藤　博章，大西　昇，”視覚障害者向け消費情報取得支援システム”， 信学技報 WIT，pp.47-52，Aug. 2010．