研究概要

「百聞は一見に如かず」という(ことわ ざ)にもあるように,人間は外界情報の多くを「視 覚」から得ていると言われています.情景や物体を「見る」こと によって,その広がり,大きさ,形,色,模様などを知ることができます. コンピュータが人間のように物を見て,それが何であるか分かるようになっ たとき,コンピュータは今よりもっと賢く,柔軟性に富み,私たちの生活を さらに便利にしてくれるツールになり得ると考えられます.

筑波大学 知的画像処理研究室 では,この『物を見て知る』能力をコンピュー タに創り込む」ことを目指し,デジタル画像からそこに写っている 情景や物体を認識・理解するための理論とアルゴリズムの構築,ならびにそれ を実現するプログラムの開発を行っています.具体的には以下の各項目につい て研究をすすめています.

なお,より専門的な説明および発表論文等のリストは,こちらのページ ( 日本語English) を御覧下さい.

随時更新中です.また現在休止中の研究テーマもあります.



A1. 医用画像を読影する医師をサポートするシステムの開発

病気の早期発見・診断・治療のための医用画像診断装置 ー例えばX 線CTMRIPETなどー が近年急激に 発展しています.最新の医用画像診断装置は沢山の画像を生成し,より小さな 病変まで映し出すことができるようになりました.しかしその反面,膨大な画 像量は,それを診断する医師に過大な負担を強いるようになってしまっていま す.

Fig1 医用画像から病変を検出するアルゴリズムの一例.
Fig1 医用画像から病変を検出するアルゴリズムの一例.

この研究では,医師の負担を軽減し,トータルでの病変発見率を向上させる ことを目標に,コンピュータを使って病変を認識し,医師に情報提供するアル ゴリズムの開発を行っています.

Fig.1 は胸部X線CT画像(の合成図)で,右中央に 病変がある様子を表しています.このようなCT画像に,画像中のノイズを除去 する平滑化処理,陰域領域を抽出する2値化処理,領域に番号付けをするラベリ ング処理などの色々な画像処理技術を施し,陰影領域の大きさ,形,画像での 濃さなどを測定することによって病変を的確に検出することができます.

発表論文 1, 2, 3


A2. 胸部X線CT画像から肺がんを検出する画像フィルタの研究

肺臓器をX線CT装置を使って撮影すると Fig.1 のよう な画像が得られます.右側中央の丸い陰影(赤い四角)が肺がんで,その他の 線状陰影(例えば青い四角)は肺血管です.この肺がん陰影だけを検出し,そ の他の正常血管陰影は検出しない画像認識アルゴリズムを構築し,コンピュー タプログラムを作成することが必要になります.

先にも述べたように一般に肺がんは丸い陰影,血管は線状の陰影になります (拡大図が Fig.2 の上部にあります).これらの陰 影を鳥瞰図表示した図形が同図下部にあります.がんは富士山状の陰影構造 を持ち,血管はかまぼこ状の陰影構造を持ちます.

これら二種類の陰影構造を識別するために,「Diskフィルタ」と「Ringフィ ルタ」の二つの画像フィルタを用います.まず両方の陰影構造にRingフィル タを上から落とします.がん陰影ではRingは富士山の麓まで落ちますが,血 管陰影ではかまぼこの尾根線に引っかかって止まります.次にDiskフィルタ を落とします.がん陰影では富士山の頂上で止まり,血管陰影ではやはり尾 根線で止まります.二つのフィルタの落ちた高さの差(差分値)を測定し,そ の差分値が大きい陰影だけががんであるとするアルゴリズムによって,正し くがん陰影を検出することができます.

Fig.1 原画像におけるがんと血管の陰影.

Fig.1 原画像におけるがんと血管の陰影.

Fig.2 DiskフィルタとRingフィル
		       タによる癌陰影の検出.

Fig.2 DiskフィルタとRingフィルタによる癌陰影の検出.


A3. 胸部X線CT画像から肺臓器領域を抽出する手法の開発

病巣を正確に検出するためには,病巣が存在する臓器の範囲を正確に把握し なければなりません.例えば,肺がんは肺臓器の内部に存在しますので,画像 中における肺臓器領域を高精度に抽出することが求められます.

Fig.1 は胸部X線CT画像から肺臓器領域を抽 出するアルゴリズムの一例を表しています.ここではまず濃淡値の2値化処理 を使って肺領域を粗く抽出し,次にマセマティカルモロフォロジという3次元 領域の形状を整形する処理を適用することで精度良く肺臓器を抽出しています. 抽出した肺臓器をサーフェースレンダリングして立体表示したもの が Fig.2 になります.

Fig.1 肺臓器の抽出アルゴ
		       リズム.

Fig.1 肺臓器の抽出アルゴリズム.

Fig.2 肺臓器の立体表示.

Fig.2 肺臓器の立体表示.


A4.3次元物体モデルを用いたがん・血管識別手法の開発

肺がんは進行初期のステージでは球形に成長することが分かっています.一 方,血管は管状の組織で,内部を血液が流れています.この3次元的な構造の違 いに着目してがんと血管を見分ける手法の開発を行っています. Fig.1a はがん陰影,Fig.2a は血管陰 影,Fig.3a は血管に隣接するがん陰影です.

この研究ではがんを球形のモデル(Fig.1b),血管を円筒 モデルを組み合わせたモデル(Fig.2b),またがんの近くに 血管が走行する様子を球形モデルと円筒モデルを組み合わせたモデル (Fig.3b)でそれぞれ表現します.陰影の画像データとこれ らの3次元物体モデルとを照合することによって,がんと血管を識別しています.

Fig.1a がん陰影
(連続する3スライス)

Fig.1b がんモデル

Fig.2a がん陰影
(連続する3スライス)

Fig.2b がんモデル

Fig.3a がん陰影
(連続する3スライス)

Fig.3b がんモデル

この研究で重要な点は,人体の肺血管の構造をなるべく忠実に再現した血管 モデルを使うことです.人体胸部では,中央(の少し左より)に心臓があり,そ れを囲むように肺臓器が配置しています.中央の心臓から肺動脈と肺静脈が出 現し,肺臓器内を分岐しながら辺縁部分(肋骨近く)に達しています.

従って,肺血管は分岐する度に細くなり,肺臓器の中を樹状に広がって走行 するという構造を持っています.本研究では,この胸部中央では肺血管は太く, 分岐を繰り返す毎に細くなるという解剖学的知識 を Fig.4Fig. 5 に示すような分 布モデルとして表現しています.

Fig.4 は肺血管の平均半径の分布モデルで,各部位での 肺血管の平均半径を表しています.赤い部分は太い血管が存在することを表し, 青や紫の部分は細い血管が存在することを表しています. Fig.5 は半径の標準偏差の分布モデルで,赤いほど値が大 きいことを表しています.この血管半径についての情報を3次元血管モデルに 反映させることによって,より忠実な血管モデルを生成し,識別精度の向上を 達成しています.

Fig.4 肺血管の平均半径の分布モデル.

Fig.5 肺血管の半径の標準偏差の分布モデル.


A5. 診断用グラフィカルユーザインターフェースシステムの開発

Fig.1 診断用GUIシステムの概観.
Fig.1 診断用GUIシステムの概観.

この研究では,ユーザ(医師)になるべく簡単な操作で診断支援システムを使 用してもらうためのグラフィカルユーザインターフェースの開発を目指してい ます.Fig.1のような,必要な情報がディスプレ イ一面に表示され,キーボードやマウスなど一般的な入力デバイスで,効率的 に診断を行えるインターフェースが必要になります.


A6. 腹部X線CT画像を用いた腹部構造物の統計モデリングに関する研究

腹部X線CT画像内のランドマーク点(肋骨先端部),管状構造物(下行大動 脈),膜状構造物(左右横隔膜),塊状構造物(肝臓,膵臓,左右腎臓)と いった形態の異なる複数の構造物の空間的な関係を統一的に統計解析する手 法を開発しています.

Fig.1 は腹部X線CT画像の例で, Fig.2 はその画像から上記の構造物を手動 抽出した結果画像です.領域の色がそれぞれの構造物を表しています.それ らの構造物を3次元表示したもの がFig.3 です.このようなサンプル を多数収集し,組織データ解析という手法を使って統計解析します.

Fig.1 腹部X線CT画像.

Fig.1 腹部X線CT画像.

Fig.2 構造物ラベル.

Fig.2 構造物ラベル.

Fig.3 3次元表示.

Fig.3 3次元表示.


B1. ステレオビジョンと力覚フィードバックデバイスを用いた視覚障がい者支援システムの開発

視覚障がい者(ユーザ)の歩行を支援するシステムを開発しています.2 つのカメラを使って,Fig.1Fig.2 に示すようなステレオ画像を取得し, Fig.3 のような距離情報を取得し,特徴点間の距離から ユーザが歩行できる場所を推定します.Fig.4 (正面 図)と Fig.5 (上面図)は,このオフィスシーンの再構 成図になります.

同図において,赤色の部分は机などの障害物,緑色の部分は歩行可能な場所 (通路),青色の部分は物体の影で歩行可能性の不明な場所を表します.これら 3つの情報を Fig.6 の力覚フィードバックデバイスの 反力の違いとして提示することによって,視覚障がい者に情報提供し,歩行を 支援します.

Fig.1 左画像.

Fig.1 左画像.

Fig.2 右画像.

Fig.2 右画像.

Fig.3 距離情報.特徴点が赤いほど近く,緑,
		       青になるほど遠くなることを表す.

Fig.3 距離情報.特徴点が赤いほど近く,緑,青になるほど遠くなることを表す.

Fig.4 シーン再構成の正面図.

Fig.4 シーン再構成の正面図.

Fig.5 シーン再構成の上面図.

Fig.5 シーン再構成の上面図.

Fig.6 力覚デバイス.

Fig.6 力覚フィードバックデバイス.


B2. 視覚障がい者の物体認識を支援する Kinect 白杖システムの開発

"視覚障がい者が環境中の物体を認識する" ことを支援するシステム を開発しています.このシステムは,Fig.1 に示す ように,Microsoft Kinect やテンキー,バイブレータを搭載した白杖,ノート パソコンやバッテリを搭載したバックパックから構成されています.Kinect は 赤外線によって物体までの距離を測定することができる測距センサーで,これ を使うによって物体の形状を認識することができます.

例えば,Fig.2 のようなシーンを Kinect センサー で観測すると Fig.3 のような距離画像が得られます. この距離画像から,「床から30cm〜50cmくらいの高さにある水平面」を 抽出すると Fig.4 の赤色領域に示すような椅子の座 面を認識することができます.この座面の位置を視覚障碍者に提示すること によって,その視覚障がい者は,(1)近くに椅子があることと,(2)その位置 を知ることができるようになります.

現在,Kinect 白杖システムは,椅子(ベンチ)の他に,上り階段,下り階 段,机,手摺,エレベータを認識し,視覚障害者に情報提供することができま す.

Fig.1 Kinect 白杖システム.(クリックでコンセプトビデ オを再生:このユーザはKinect 白杖システムを使ってベンチを見つけ,座っ て休憩することができました.)

Fig.2 シーンの例.

Fig.2 シーンの例.

Fig.3 距離画像.

Fig.3 距離画像.

Fig.4 椅子(の座面)の認識結果.赤色の部分
			    が座面を表す.

Fig.4 椅子(の座面)の認識結果.赤色の部分が座面を表す.


C1. ステレオカメラによる物体形状の再構成

画像からそこに写っている情景や物体の立体情報を再現する研究はコンピュー タビジョンと言われています.ステレオビジョンはその一つで,2台のカメラ を使って画像を撮影し,立体情報を得る方法です.

Fig1 ステレオカメラシステム.
Fig1 ステレオカメラシステム.

Fig.1 のような2つのカメラを備えたステレ オカメラシステムで物体(例えば箱)を撮影する と Fig.2Fig.3 のような2枚の画 像が得られます.物体表面の模様のような特徴的な点を捉えて三角測量すると, カメラからその点までの距離が得られます.Fig.4 に おける緑色の点は距離の得られた点を表します.緑色の点を基準にして,物体 表面各所における面の方程式を計算すると,赤い四角形の集合で示すように物 体表面を再現することができます.

このような方法を用いることによって,例えばカメラを搭載したロボットが 情景や物体を自分で認識することができ,自律的に行動することができるよう になります.

Fig.2 左カメラの画像.

Fig.2 左カメラの画像.

Fig.3 右カメラの画像.

Fig.3 右カメラの画像.

Fig.3 被写体の3次元再構成.

Fig.4 被写体の3次元再構成.


C2. ステレオカメラによる自然物体の認識

人工物に比較して自然物体は複雑な形状を持っています.下図に示した植物 は典型的な例です.この研究では,このステレオ画像 (Fig.1Fig.2)から距離 画像(Fig.3)を求め, Fig.4 に示すようにこの植物物体を再構成してい ます.この再構成からこの植物の高さや葉の面積などを推定することによって, その成長具合などを把握することができます.

Fig.1 左カメラの画像.

Fig.2 左カメラの画像.

Fig.2 右カメラの画像.

Fig.3 右カメラの画像.

Fig.3 距離画像.

Fig.3 距離画像.

Fig.4 3次元再構成.

Fig.4 3次元再構成.


E1. 単眼視画像からの3次元シーンの再構成

ステレオビジョンや Kinect などの3次元計測を行なわず,たった一枚の単 眼視画像から3次元シーンを再構成する研究を行なっています. Fig.1 に示すようなブロックシーンの原画像から特 徴点(エッジ)を抽出し,Fig.2 に示すエッジ画像 を得ます.シーンの各所で,直方体モデル,円筒モデル,球体モデルを発生 させます.(1)物体モデルとエッジとが照合する度合いと(2)隣合うモデル同 士の関係を定式化し,最適な物体モデルの組み合わせを探索します. Fig.3は,3次元再構成の結果で画像中の直方体,円 筒,球の位置や大きさ,向きをほぼ正確に認識できていることが分かります.

Fig.1 単眼視画像.

Fig.1 単眼視画像.

Fig2. エッジ画像.

Fig2. エッジ画像.

Fig.3 シーンの3次元再構成.

Fig.3 シーンの3次元再構成.