INFRARED IMAGING DEVICE, CONTROL METHOD FOR SAME, AND VEHICLE

　以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態に係る赤外線撮像装置を含む車両を示すブロック図である。車両２００は、赤外線撮像装置１００と、画像処理装置２１０と、画像表示装置２２０とを有する。赤外線撮像装置１００は、第１の撮像部１１０、第２の撮像部１２０、画像出力部１３０、光照射部１４０、光照射判定部１５０、及び制御部１６０を有する。

　第１の撮像部１１０は、遠赤外線を検出し遠赤外線画像（第１の画像）を撮像する。一般に、第１の撮像部１１０では、遠赤外線を検出する赤外線検出器において、検出器素子（画素）ごとに感度がばらつくことに起因して、検出信号のオフセット、及び／又はゲインが検出器素子ごとにばらつく。本実施形態において、検出器素子ごとにばらつく検出信号のオフセット、及び／又はゲインを補正し、遠赤外線画像における画素間のばらつき（不均一性）を補正する処理を不均一性補正処理と呼ぶ。また、そのような不均一性補正処理において不均一性を補正するために使用されるデータ（補正データ）を取得する処理を、補正データ取得処理と呼ぶ。第１の撮像部１１０は、不均一性補正処理を実施する不均一性補正部４２と、補正データ取得処理を実施する補正データ取得部４４とを含む。

　図２は、第１の撮像部を示すブロック図である。第１の撮像部１１０は、光学系１０、赤外線検出器１１、アナログ信号処理部１２、ＡＤ変換器（Analog to Digital Convertor）１３、デジタル信号処理部１４、出力部１５、温度センサ１８、制御部１９、シャッタ駆動部２０、及びシャッタ２１を有する。

　光学系１０は１以上のレンズを含む結像光学系である。光学系１０は、結像面の位置（結像位置）の制御が可能であることが好ましい。赤外線検出器１１は、赤外線撮像素子（赤外センサ）であり、光学系１０により形成された光学像を撮像して電気信号に変換する。赤外線検出器１１は、入射赤外光（赤外線）を検出する複数の検出器素子を含む。赤外線検出器１１において、複数の検出器素子は例えば２次元状に配列されている。赤外線検出器１１の赤外線検出面には、光学系１０を介して赤外線が入射される。赤外線検出器１１の各検出器素子の検出信号に基づいて、赤外線画像が構成される。

　赤外線検出器１１は、例えば波長０．８３μｍから１０００μｍの範囲の赤外線を検出する。赤外線検出器１１は、特に、波長６μｍから１０００μｍの範囲の遠赤外線を検出するものであることが好ましい。赤外線検出器１１には、マイクロボロメータ又はＳＯＩ（Silicon on Insulator）ダイオード型などの熱型の赤外線センサを用いることができる。

　アナログ信号処理部１２は、赤外線検出器１１が出力する赤外線検出信号に対してアナログ電気処理を実施する。アナログ信号処理部１２は、典型的には、赤外線検出信号を増幅する増幅器を含む。ＡＤ変換器１３は、赤外線検出信号をサンプリングし、サンプリングした赤外線検出信号をデジタルデータ（デジタル信号値）に変換する。デジタル信号処理部１４は、ＡＤ変換器１３によりデジタルデータに変換された赤外線検出信号に対して信号処理を行う。デジタル信号処理部１４における信号処理は、不均一性補正処理と、補正データ取得処理とが含まれる。

　出力部１５は、デジタル信号処理部１４で信号処理された赤外線検出信号（遠赤外線画像データ）を、第１の撮像部１１０の出力信号として出力する。出力部１５は、例えばデジタル信号をアナログ信号に変換するＤＡ変換器（Digital Analog Convertor）を含み、赤外線検出信号をアナログ信号として出力する。出力部１５は、赤外線検出信号をデジタル信号として出力してもよい。

　制御部１９は、第１の撮像部１１０の全体的な制御を行う。制御部１９には、例えばＦＰＧＡ（Field-Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）を用いることができる。制御部１９は、第１の撮像部１１０の動作モードを、通常撮像モードと補正データ取得処理を実施するモード（補正データ取得モード）との間で切り替える。制御部１９は、制御信号を通じて、デジタル信号処理部１４における信号処理を動作モードに応じて制御する。具体的には、通常撮像モード時はデジタル信号処理部１４に不均一性補正処理を実施させ、補正データ取得モード時は補正データ取得処理を実施させる。

　温度センサ（温度計測部）１８は、例えば赤外線検出器１１及びその周辺の温度を計測する。制御部１９は、補正データ取得処理を実施する条件が成立したか否かを判定する条件判定部としても機能する。制御部１９は、例えば温度センサ１８が計測する温度の変化に基づいて、補正データ取得処理を実施する条件が成立したか否かを判定する。具体的には、温度センサ１８により計測された温度と、前回の補正データ取得処理の実施時点における温度との差が温度しきい値以上の場合に、補正データ取得処理を実施する条件が成立したと判断してもよい。

　制御部１９は、上記に代えて、時間に基づいて補正データ取得処理を実施する条件が成立したか否かを判定してもよい。制御部１９は、例えば、前回の補正データ取得処理の実施時点から時間しきい値以上の時間が経過した場合に、補正データ取得処理を実施する条件が成立したと判定してもよい。時間しきい値は固定値である必要はなく、制御部１９は、毎回、一定の固定時間が経過するたびに補正データ取得処理を実施する条件が成立したと判定する必要はない。

　制御部１９は、補正データ取得処理を実施する条件が成立したと判定した場合、条件が成立した旨を、赤外線撮像装置１００の制御部１６０（図１）に通知する。制御部１６０は、補正データ取得処理を実施するか否かを決定する。制御部１６０における補正データ取得処理を実施するか否かの決定については後述する。制御部１６０は、補正データ取得処理を実施すると決定した場合は、制御部１９にその旨を通知する。制御部１９は、制御部１６０からの通知に基づいて、動作モードの切り替えを行う。

　シャッタ２１は、光学系１０と赤外線検出器１１との間に設けられる。シャッタ駆動部２０は、制御部１９による指令に従ってシャッタ２１を駆動する。シャッタ駆動部２０は、光学系１０を透過した赤外線を赤外線検出器１１に入射させる開状態と、光学系１０を透過した赤外線を遮断して赤外線検出器１１に入射させない閉状態との間で、シャッタ２１を駆動する。制御部１９は、通常撮像モード時はシャッタ２１を開状態とさせる旨をシャッタ駆動部２０に指示し、補正データ取得モード時はシャッタ２１を閉状態とさせる旨をシャッタ駆動部２０に指示する。シャッタ２１が閉状態となることで、遠赤外線の波長領域の光が遮断される。

　図３は、デジタル信号処理部１４の構成を示すブロック図である。デジタル信号処理部１４は、スイッチ４１、不均一性補正部４２、補正データ記憶部４３、及び補正データ取得部４４を有する。デジタル信号処理部１４は、例えばＤＳＰ（Digital Signal Processor）などのＬＳＩ（Large Scale Integration）によって構成される。ＤＳＰは、典型的には、プロセッサと、プロセッサに対する命令を格納するＲＯＭ（Read Only Memory）と、データを格納するＲＡＭ（Random Access Memory）とを含み、これらはバスを介して接続されている。プロセッサがＲＯＭに格納された命令に従って動作することで、不均一性補正部４２及び補正データ取得部４４などの機能が実現される。ＤＳＰは、外部の記憶装置などと接続するインタフェースを有していてもよい。

　スイッチ４１には、ＡＤ変換器１３（図２を参照）が出力する赤外線検出信号のデジタルデータ（以下では、デジタルデータに変換された赤外線検出信号を、特に区別せずに赤外線検出信号と呼ぶことがある）が入力される。スイッチ４１は、赤外線検出信号を、不均一性補正部４２と補正データ取得部４４とに選択的に出力する。スイッチ４１の切り替えは、例えば制御部１９が出力する制御信号に基づいて実施される。制御部１９は、通常撮像モード時はスイッチ４１から不均一性補正部４２に赤外線検出信号を出力させる。制御部１９は、補正データ取得モード時は、スイッチ４１から補正データ取得部４４に赤外線検出信号を出力させる。

　不均一性補正部４２は、遠赤外線画像における画素の不均一性を補正する不均一性補正処理を実施する。補正データ取得部４４は、不均一性を補正するための補正データを取得する補正データ取得処理を実施する。補正データ取得部４４にて実施される補正データ取得処理は、シャッタ２１により遠赤外線の波長領域の光が遮断された状態で補正データを取得することを含む。

　不均一性補正部４２には、スイッチ４１を介して、シャッタ２１が開状態に駆動された状態で赤外線検出器１１により検出された赤外線検出信号が入力される。不均一性補正部４２は、補正データ記憶部４３を参照して、赤外線検出信号に含まれる画素間の不均一性を補正する。補正データ記憶部４３は、不均一性補正処理のための補正データを記憶する。補正データ記憶部４３は、例えばデジタル信号処理部１４が有するＲＡＭの内部に構成されていてもよいし、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）などの書き換え可能な不揮発性メモリで構成されていてもよい。

　ここで、本実施形態では、不均一性補正部４２が実施する不均一性補正処理として、特に固定パターンノイズ（以下、ＦＰＮ（Fixed Pattern Noise）とも呼ぶ）を補正するＦＰＮ補正処理を考える。ＦＰＮとは、赤外線検出器１１（図１を参照）の各検出器素子（各画素）に固有の、各検出器素子の検出信号に含まれるノイズ成分を指す。補正データ記憶部４３は、ＦＰＮ補正処理で用いられるＦＰＮデータを補正データとして記憶する。ＦＰＮデータは、各検出器素子のＦＰＮを表すデータであり、各検出器素子のＦＰＮの集合である。補正データ記憶部４３は、初期状態では、均一な光量の光源を赤外線検出器１１の前面に設置し、かつ外部から赤外線検出器１１に入射する赤外線を遮断した状態で赤外線検出器１１により検出された赤外線検出信号を、ＦＰＮデータとして記憶していてもよい。

　不均一性補正部４２は、赤外線検出信号からＦＰＮデータを減算することにより、赤外線検出信号からＦＰＮを除去する。より詳細には、不均一性補正部４２は、赤外線検出器１１に含まれる各検出器素子が出力する赤外線検出信号からその検出器素子のＦＰＮデータを減算することにより、各検出器素子に固有のノイズ成分を除去する。このようにすることにより、各検出器素子に入射した赤外線の量に依存した信号成分が得られる。

　補正データ取得部４４には、スイッチ４１を介して、シャッタ２１が閉状態に駆動された状態で赤外線検出器１１により検出された赤外線検出信号が入力される。補正データ取得部４４は、入力された赤外線検出信号に基づいてＦＰＮデータを生成する。補正データ取得部４４は、生成したＦＰＮデータを補正データ記憶部４３に格納することにより、補正データ記憶部４３に記憶されたＦＰＮデータを更新する。

　ここで、ＦＰＮデータを更新するとは、補正データ記憶部４３に記憶されたＦＰＮデータを新たなデータで書き換えることを意味する。ＦＰＮデータの更新は、赤外線検出器１１に含まれる全ての検出器素子を一度に更新するもののみならず、全検出器素子のうちの一部を対象に行う一部更新も含む。例えば赤外線検出器１１が検出器素子を１００個含むとき、それら１００個の検出器素子のＦＰＮデータを一度に更新してもよいし、１回の更新につき、１００個のうちの４０個から７０個の検出器素子のＦＰＮデータを更新してもよい。

　図１に戻り、第２の撮像部１２０は、遠赤外線よりも短い波長領域の光を検出し第２の画像を撮像する。第２の撮像部１２０が撮像する光の波長範囲の下限は、例えば紫外線の波長領域と可視光線の波長領域との境界である波長約３８０ｎｍであるとする。第２の撮像部１２０は、例えば近赤外線の波長領域の光、及び可視光線の波長領域の光の少なくとも一方を検出する。以下では、主に、第２の撮像部１２０が近赤外線の波長領域の光を検出して近赤外線画像を生成するものとして説明する。

　光照射部１４０は、ランプや投光器などを含み、第２の撮像部１２０の撮像範囲に照明光を照射する。光照射部１４０から照明光を照射することで、例えば夜間など周囲が暗い状況においても、第２の撮像部１２０による撮像が可能となる。光照射部１４０が照射する照明光の波長は、第２の撮像部１２０にて撮像される光の波長範囲に含まれる。例えば第２の撮像部１２０が近赤外線を撮像するものである場合、光照射部１４０は、近赤外光を照明光として照射する。第２の撮像部１２０が可視光線を撮像するものである場合、光照射部１４０は可視光を照明光として照射する。一般に、近赤外線は可視光よりも遠くまで届くため、第２の撮像部１２０は近赤外線の波長領域の光を撮像するものであることが好ましい。ここで、例えば、近赤外線の波長領域は、0.7μm以上 2.5μm未満であり、遠赤外線の波長領域は、4μm以上 1000μm未満である。また、例えば、可視光線の波長領域は、380nm以上800nm以下である。

　第２の撮像部１２０の基本的な構成は、図２に示す第１の撮像部１１０の構成と同様でよい。ただし、第２の撮像部１２０においては、デジタル信号処理部１４にて補正データ取得処理を実施する必要はなく、従って制御部１９は第２の撮像部１２０の動作モードを通常撮像モードと補正データ取得モードとの間で切り替える必要はない。

　第１の撮像部１１０及び第２の撮像部１２０は、例えば車両前方の監視のために用いられる撮像部であり、車両前方の映像を撮像する。ここで、車両前方とは、車両２００の前進方向を指す。第１の撮像部１１０と第２の撮像部１２０とは、例えば、ほぼ同じアングル、かつほぼ同じ撮像倍率で撮像範囲を撮像する。第１の撮像部１１０の撮像範囲と第２の撮像部１２０の撮像範囲とは、必ずしも完全に一致している必要はなく、少なくとも一部が重複していればよい。

　画像出力部１３０は、第１の撮像部１１０により撮像された遠赤外線画像と、第２の撮像部１２０により撮像された近赤外線画像との少なくとも一方を、赤外線撮像装置１００の出力画像として出力する。画像出力部１３０は、例えば、遠赤外線画像又は近赤外線画像の何れか一方を選択的に出力してもよいし、遠赤外線画像と近赤外線画像の双方を出力してもよい。画像出力部１３０は、遠赤外線画像と近赤外線画像の双方を出力する場合は、双方の画像を重畳した画像を出力してもよい。

　画像処理装置２１０は、赤外線撮像装置１００が出力する画像、つまり画像出力部１３０により出力された画像に対して、画像処理を実施する。画像処理装置２１０は、例えばＤＳＰなどのＬＳＩを含んで構成される。画像処理装置２１０により実施される画像処理は、例えば車両２００の前方の走路の上に存在する人物、又は走路に近接して存在する人物を検出する処理を含む。画像処理は、走路上に存在する落下物などの障害物を検出する処理を含んでいてもよい。

　画像処理装置２１０は、赤外線撮像装置１００の出力画像と画像処理の結果とを、画像表示装置２２０に表示する。画像表示装置２２０は、例えば液晶ディスプレイなどを用いて構成される。画像処理装置２１０は、画像表示を行うだけでなく、図示しないスピーカーや警告灯などの報知部により、ユーザに注意喚起を促してもよい。画像処理装置２１０を省き、赤外線撮像装置１００の出力画像を画像表示装置２２０に表示するだけでもよい。

　光照射判定部１５０は、第２の撮像部１２０において撮像される光の波長範囲の光が第２の撮像部１２０に対して照射されているか否かを判定する。光照射判定部１５０は、例えば第２の撮像部１２０が近赤外線を撮像するものである場合に、第２の撮像部１２０に対して近赤外光（近赤外線）が照射されているか否かを判定する。光照射判定部１５０は、例えば第２の撮像部１２０により撮像された近赤外線画像に基づいて、第２の撮像部１２０に対する近赤外光の照射を判定してもよい。光照射判定部１５０は、例えば近赤外線画像を画像処理するＤＳＰなどで構成される。

　第２の撮像部１２０により撮像された近赤外線画像に基づいて光照射を判定するのに代えて、第２の撮像部１２０が撮像する波長領域の光の照射を検出する光センサ（図１において図示せず）を別途設け、光照射判定部１５０がその光センサの出力信号に基づいて光照射の有無を判定してもよい。具体的には、そのような光センサの出力信号がしきい値以上となった場合に、第２の撮像部１２０に対して近赤外光が照射されていると判定してもよい。光照射判定部１５０は、近赤外光が照射されていると判定すると、その旨を示す信号を制御部１６０に送信する。

　制御部１６０は、光照射判定部１５０から受信する信号に基づいて、第１の撮像部１１０に補正データ取得処理を実施させるか否かを決定する。制御部１６０は、光照射判定部１５０から、近赤外光が第２の撮像部１２０に照射されていることを示す信号を受信していない場合、又は近赤外光が第２の撮像部１２０に照射されていないことを示す信号を受信している場合、第１の撮像部１１０に補正データ取得処理を実施させると決定する。制御部１６０は、例えばＦＰＧＡなどのＰＬＤにより構成される。

　制御部１６０は、例えば第１の撮像部１１０の制御部１９から補正データ取得処理を実施する条件が成立した旨の通知を受信した場合に、補正データ取得処理を実施させるか否かの決定を行う。制御部１６０は、補正データ取得処理を実施する条件が成立し、かつ光照射判定部１５０が第２の撮像部１２０に対して近赤外光が照射されていないと判定している場合に、第１の撮像部１１０に補正データ取得処理を実施させると決定する。補正データ取得処理を実施する条件が成立していても、光照射判定部１５０が、第２の撮像部１２０に対して近赤外光が照射されている、と判定している場合は、第１の撮像部１１０において補正データ取得処理を実施させないと決定する。

　制御部１６０は、補正データ取得処理を実施させると決定した場合は、制御部１９（図２を参照）にその旨を通知する。制御部１９は、シャッタ駆動部２０によりシャッタ２１を閉状態に駆動し、スイッチ４１（図３を参照）の選択を切り替え、補正データ取得部４４に補正データ取得処理を開始させる。なお、第１の撮像部１１０の制御部１９において補正データ取得処理を実施する条件が成立したか否かを判定するのに代えて、制御部１６０において条件が成立したか否かの判定を行ってもよい。言い換えれば、制御部１６０自体が条件判定部として機能してもよい。

　制御部１６０は、画像出力部１３０が出力する画像の制御も行う。制御部１６０は、第１の撮像部１１０において補正データ取得部４４が補正データ取得処理を実施していない場合は、画像出力部１３０に、遠赤外線画像を出力させる。制御部１６０は、補正データ取得部４４が補正データ取得処理を実施している場合は、画像出力部１３０は近赤外線画像を出力させる。画像出力部１３０は、補正データ取得処理が実施されていない場合は、少なくとも遠赤外線画像を出力すればよく、遠赤外線画像に加えて近赤外線画像を出力してもよい。

　制御部１６０は、光照射部１４０による照明光の照射の制御も行う。制御部１６０は、例えば第１の撮像部１１０において補正データ取得部４４に補正データ取得処理を実施している間は、光照射部１４０から照明光（近赤外光）を照射させる。制御部１６０は、補正データ取得部４４に補正データ取得処理を実施させない場合は、光照射部１４０から近赤外光を照射させない。補正データ取得処理の実施中にのみ近赤外光を照射する場合、近赤外光の照射は、対向車線上を走行する対向車に対し、自車両において第１の撮像部１１０による撮像を中断して補正データ取得処理を実施していることを知らせる効果もある。なお、光照射部１４０による近赤外光の照射は必須ではない。例えば、昼間など、近赤外光の照射がなくても第２の撮像部１２０による近赤外線画像の撮像が可能な場合は、光照射部１４０から近赤外光を照射する必要はない。

　図４は、光照射部１４０により照射される近赤外光の照射範囲を示す。光照射部１４０は、例えば車両２００のフロントのバンパー又はグリルなどの部分に配置され、車両２００の前方を照らす照明光（近赤外光）ＩＲを出射する。近赤外光ＩＲの照射範囲は、例えば車両２００のヘッドライトのハイビームの照射範囲と同等であることが好ましい。近赤外光ＩＲの照射範囲に人物や障害物がある場合、その人物や障害物によって生じた反射近赤外光を第２の撮像部１２０が検出することにより、近赤外線画像において人物や障害物の認識が可能である。

　図５は、第２の撮像部１２０に対して光照射があった場合の近赤外線画像を示す。車両２００に対して、対向車線上を走行する対向車から近赤外光ＩＲが照射される場合を考える。その場合、光源から照射される近赤外光ＩＲの強度が強いため、第２の撮像部１２０により撮像される近赤外線画像において、近赤外光ＩＲが照射された部分の信号値（輝度値）は周囲の信号値よりも極端に高くなる。また、近赤外線画像全体に占める信号値が高い領域の面積は比較的広くなる。

　本実施形態では、自車両２００の第２の撮像部１２０に対して近赤外光が照射されているか否かの判定に、第２の撮像部１２０により撮像された近赤外線画像が用いられる。対向車線側から自車両２００に対して近赤外光が照射されているか否かは、図５に示す近赤外画像において、信号値が輝度に関連したしきい値以上の領域の面積を求め、その面積が面積に関連したしきい値以上であるか否かを調べることにより、判定することができる。

　図５に示す例のように、対向車線側から近赤外光ＩＲが照射され、近赤外線画像に近赤外光ＩＲの光源が写り込むと、近赤外線画像においてハレーションなどが生じることがある。その場合、走行車線上や走行車線の付近に人物又は障害物が存在する場合でも、近赤外線画像においてその人物や障害物を視認することが困難になる。また、対象車線側から近赤外光ＩＲが照射されている状況で、自車両２００の光照射部１４０から近赤外光を照射すると、双方の近赤外光により蒸発現象が生じ、自車両２００の前方に存在する人物が見えなくなることもある。一方で、対向車線側から近赤外光ＩＲが照射されたとしても、その近赤外光ＩＲは、第１の撮像部１１０により撮像される遠赤外線画像に対してほとんど影響を与えない。

　第１の撮像部１１０において、補正データ取得処理が必要となる状況（補正データ取得処理を実施する条件が成立するタイミング）は、車両２００の走行状況とは無関係に発生する。補正データ取得処理が必要となった場合に、第１の撮像部１１０において即座に補正データ取得処理を実施すると、第２の撮像部１２０に対して近赤外光が照射される状況であっても、赤外線撮像装置１００が出力する画像が第２の撮像部１２０により撮像された近赤外線画像に切り替えられる。その場合、近赤外線画像において、人物や障害物を見落とす可能性がある。

　そこで、本実施形態では、第２の撮像部１２０に対する光照射の有無に基づいて、第１の撮像部１１０における補正データ取得処理を実施するか否かを制御する。制御部１６０は、第１の撮像部１１０において補正データ取得処理を実施する条件が成立している場合でも、光照射判定部１５０が、第２の撮像部１２０に対して近赤外光が照射されている、と判定している場合は、補正データ取得処理の実施を抑制する。補正データ取得処理の実施を抑制することで、引き続き、遠赤外線画像による車両前方の監視が可能であり、走路及びその付近に存在する人物又は障害物を見落とす危険性を低減することができる。

　図６は、赤外線撮像装置１００の動作手順を示すフローチャートである。第１の撮像部１１０は遠赤外線画像を撮像する（ステップＡ１）。第１の撮像部１１０で撮像された遠赤外線画像は、画像出力部１３０から画像処理装置２１０に出力され、画像処理装置２１０により車両２００に設置された画像表示装置２２０に表示される。ドライバーなどのユーザは、画像表示装置２２０に表示される遠赤外線画像を観察することで、走路上に人物や障害物が存在していなかを確認することができる。画像出力部１３０から遠赤外線画像が出力されている間、第２の撮像部１２０は近赤外線画像を撮像する。近赤外線画像は、例えば光照射判定部１５０における判定に使用される。

　第１の撮像部１１０の制御部１９（図２を参照）は、補正データ取得処理を実施する条件が成立したか否かを判定する（ステップＡ２）。制御部１９は、例えば温度センサ１８により計測された温度と、前回の補正データ取得処理実施時の温度との差が温度しきい値以上である場合に、補正データ取得処理を実施する条件が成立したと判定する。これに代えて、制御部１９は、前回の補正データ取得処理の実施時点から時間しきい値以上の時間が経過した場合に、補正データ取得処理を実施する条件が成立したと判定してもよい。ステップＡ２において補正データ取得処理を実施する条件が成立していないと判定された場合は、ステップＡ１に戻り、遠赤外線画像の撮像が継続される。

　ステップＡ２において補正データ取得処理を実施する条件が成立したと判定されると、制御部１６０は、光照射判定部１５０における判定結果に基づいて、第２の撮像部１２０に対して近赤外光が照射されているか否かを判定する（ステップＡ３）。ステップＡ３において第２の撮像部１２０に対して近赤外光が照射されていると判定された場合は、第１の撮像部１１０は引き続き遠赤外線画像を撮像し（ステップＡ４）、撮像された遠赤外線画像が画像表示装置２２０に表示される。第１の撮像部１１０による遠赤外線画像の撮像は、ステップＡ３において第２の撮像部１２０に対して近赤外光が照射されていないと判定されるまで継続して実施される。

　制御部１６０は、ステップＡ３において近赤外光が照射されていないと判定すると、光照射部１４０から第２の撮像部１２０の撮像範囲に照明光（近赤外光）を照射させる（ステップＡ５）。制御部１６０は、画像出力部１３０が出力する画像を、第１の撮像部１１０により撮像された遠赤外線画像から、第２の撮像部１２０により撮像された近赤外線画像に切り替える（ステップＡ６）。画像出力部１３０から出力された近赤外線画像は画像処理装置２１０に出力され、画像処理装置２１０により車両２００に設置された画像表示装置２２０に表示される。

　その後、制御部１６０は、第１の撮像部１１０に対して補正データ取得処理の実施を指示し、第１の撮像部１１０は補正データ取得処理を実施する（ステップＡ７）。第１の撮像部１１０は、ステップＡ７では、例えばシャッタ駆動部２０（図２を参照）によりシャッタ２１を閉状態とし、スイッチ４１（図３を参照）の選択を不均一性補正部４２から補正データ取得部４４側に切り替え、補正データ取得部４４に補正データ取得処理を開始させる。

　制御部１６０は、第１の撮像部１１０において補正データ取得処理が終了すると、画像出力部１３０が出力する画像を、近赤外線画像から遠赤外線画像に戻す。制御部１６０は、光照射部１４０に、近赤外光の照射を停止させる（ステップＡ８）。近赤外光の照射の停止のタイミングは、画像出力部１３０が出力する画像が近赤外線画像から遠赤外線画像に切り替わった後のタイミングが好ましい。光照射部１４０による近赤外光の照射が停止した後、第２の撮像部１２０により撮像される近赤外線画像は、光照射判定部１５０による第２の撮像部１２０に対する光照射の判定に用いられる。光照射部１４０による近赤外光の照射の停止後、ステップＡ１に戻り、遠赤外線画像の撮像が継続される。

　本実施形態では、赤外線撮像装置１００は、遠赤外線画像を撮像する第１の撮像部１１０と、近赤外線画像を撮像する第２の撮像部１２０とを有する。第１の撮像部１１０は、画素間の不均一性を補正する不均一性補正処理を必須としており、第１の撮像部１１０において、不均一性補正処理で用いられる補正データを取得する補正データ取得処理を周期的に実施することが好ましい。一般に、第１の撮像部１１０において補正データ取得処理が実施されている期間は、遠赤外線画像の撮像が途切れ、遠赤外線画像が利用できなくなる。本実施形態では、赤外線撮像装置１００は、補正データ取得処理が実施され、遠赤外線画像が利用できない期間は、第２の撮像部１２０により撮像された近赤外線画像を出力する。ユーザは、第２の撮像部１２０により撮像された近赤外線画像により、車両前方の監視が可能である。

　しかしながら、近赤外線画像は外乱光の影響が大きいため、第２の撮像部１２０に対して近赤外光が照射されている状況で、第２の撮像部１２０により撮像された近赤外線画像により車両前方の監視を行うと、人物や障害物を見落とすおそれがある。そこで、本実施形態では、光照射判定部１５０により第２の撮像部１２０に対する光照射があるか否かを判定し、光照射がないと判定された場合に、第１の撮像部１１０において補正データ取得処理を実施する。このようにすることで、補正データを取得している間、第２の撮像部１２０において外乱光による影響を抑制した第２の画像を取得できる。本実施形態では、近赤外線画像において人物や障害物などが見えにくい状況で、赤外線撮像装置１００が出力する画像が近赤外線画像に切り替わることを防ぐことができ、車両前方の監視における安全性を向上できる。

　本実施形態では、第１の撮像部１１０において補正データ取得処理が実施されており、遠赤外線画像による監視ができない期間は、第２の撮像部１２０により撮像された近赤外線画像によって車両前方の監視が行われる。仮に、第２の撮像部１２０に、第１の撮像部と同様な撮像部を用いたとすると、一般に遠赤外線を撮像する撮像部は高価であるため、赤外線撮像装置１００のコストが増大する。近赤外線、及び／又は可視光を撮像する撮像部は、遠赤外線を撮像する撮像部よりも安価であるため、遠赤外線を撮像する撮像部を複数台使用する場合に比べて、赤外線撮像装置１００のコストを抑制できる。

　本実施形態では、制御部１６０は、第１の撮像部１１０において補正データ取得処理が実施されている期間だけ、光照射部１４０から近赤外光（照明光）を照射させる。仮に、光照射部１４０が常に近赤外光を照射するものであるとすると、光照射部１４０から照射された近赤外光は、対向車線側を走行する車両に照射される。対向車線側を走行する車両において近赤外線の撮像が実施されているとすると、自車両２００の光照射部１４０が照射する近赤外光は、対向車線を走行する車両で撮像される近赤外線画像において外乱光となる。本実施形態では、光照射部１４０が近赤外光を照射する期間を、補正データ取得処理が実施されている期間に限定することで、自車両２００の光照射部１４０から照射された近赤外光が対向車線を走行する車両などに与える悪影響を抑制することができる。

　次いで、本発明の第２実施形態を説明する。本発明の第２実施形態に係る赤外線撮像装置の構成は、図１に示す第１実施形態に係る赤外線撮像装置１００の構成と同様でよい。本実施形態では、第１の撮像部１１０において補正データ取得処理を実施している間も、光照射判定部１５０が第２の撮像部１２０に対して光が照射されているか否かを判定する。制御部１６０は、補正データ取得処理が完了する前に、光照射判定部１５０が第２の撮像部１２０に対して光が照射されていると判定した場合は、補正データ取得処理を停止させる。その他の点は、第１実施形態と同様でよい。

　図７は、本実施形態に係る赤外線撮像装置１００の動作手順を示すフローチャートである。第１の撮像部１１０は遠赤外線画像を撮像する（ステップＢ１）。第１の撮像部１１０で撮像された遠赤外線画像は、画像出力部１３０から画像処理装置２１０に出力され、画像処理装置２１０により車両２００に設置された画像表示装置２２０に表示される。

　第１の撮像部１１０の制御部１９（図２を参照）は、補正データ取得処理を実施する条件が成立したか否かを判定する（ステップＢ２）。ステップＢ２において補正データ取得処理を実施する条件が成立していないと判定された場合は、ステップＢ１に戻り、遠赤外線画像の撮像が継続される。

　ステップＢ２において補正データ取得処理を実施する条件が成立したと判定されると、制御部１６０は、光照射判定部１５０における判定結果に基づいて、第２の撮像部１２０に対して近赤外光が照射されているか否かを判定する（ステップＢ３）。ステップＢ３において近赤外光が照射されていると判定された場合は、第１の撮像部１１０は引き続き遠赤外線画像を撮像し（ステップＢ４）、撮像された遠赤外線画像が画像表示装置２２０に表示される。第１の撮像部１１０による遠赤外線画像の撮像は、ステップＢ３において近赤外光が照射されていないと判定されるまで継続して実施される。

　制御部１６０は、ステップＢ３において近赤外光が照射されていないと判定すると、光照射部１４０から第２の撮像部１２０の撮像範囲に照明光（近赤外光）を照射させる（ステップＢ５）。制御部１６０は、画像出力部１３０が出力する画像を、第１の撮像部１１０により撮像された遠赤外線画像から、第２の撮像部１２０により撮像された近赤外線画像に切り替える（ステップＢ６）。画像出力部１３０から出力された近赤外線画像は画像処理装置２１０に出力され、画像処理装置２１０により車両２００に設置された画像表示装置２２０に表示される。ステップＢ１からステップＢ６までの処理は、図６に示すステップＡ１からステップＡ６までの処理と同様でよい。

　制御部１６０は、第１の撮像部１１０に対して補正データ取得処理の実施を指示する。第１の撮像部１１０は補正データ取得処理を開始する（ステップＢ７）。第１の撮像部１１０は、ステップＢ７では、例えばシャッタ駆動部２０（図２を参照）によりシャッタ２１を閉状態とし、スイッチ４１（図３を参照）の選択を不均一性補正部４２から補正データ取得部４４側に切り替え、補正データ取得部４４に補正データ取得処理を開始させる。

　制御部１６０は、光照射判定部１５０における判定結果に基づいて、第２の撮像部１２０に対して近赤外光が照射されているか否かを判定する（ステップＢ８）。ステップＢ８で第２の撮像部１２０に対して近赤外光が照射されていないと判定された場合は、第１の撮像部１１０において補正データ取得処理を継続し、かつ第２の撮像部１２０による近赤外画像の撮像を継続する（ステップＢ９）。

　ステップＢ８で第２の撮像部１２０に対して近赤外光が照射されていると判定された場合は、第１の撮像部１１０は補正データ取得処理を停止（中断）する（ステップＢ１０）。第１の撮像部１１０は、例えばシャッタ駆動部２０によりシャッタ２１を開状態とし、スイッチ４１（図３を参照）の選択を補正データ取得部４４側から不均一性補正部４２側に切り替え、不均一性補正部４２に不均一性補正処理を実施させる。

　制御部１６０は、補正データ取得処理が完了すると、又は補正データ取得処理が停止されると、画像出力部１３０が出力する画像を、近赤外線画像から遠赤外線画像に戻す。制御部１６０は、光照射部１４０に、近赤外光の照射を停止させる（ステップＢ１１）。近赤外光の照射の停止のタイミングは、画像出力部１３０が出力する画像が近赤外線画像から遠赤外線画像に切り替わった後のタイミングが好ましい。光照射部１４０による近赤外光の照射の停止後、ステップＢ１に戻り、遠赤外線画像の撮像が継続される。

　本実施形態では、補正データ取得処理の実施中にも、第２の撮像部１２０に光が照射されたか否かを判定する。第１の撮像部１１０において補正データ取得処理が実施されている間に、第２の撮像部１２０に対して光が照射された場合は、補正データ取得処理を停止して、画像出力部１３０に第１の撮像部１１０により撮像された遠赤外線画像を出力させる。このようにすることで、補正データ取得処理の開始後に、近赤外線画像において人物や障害物を見落とす可能性がある状況となった場合に、補正データ取得処理の完了を待たずに遠赤外線画像による監視が可能である。その他の効果は、第１実施形態と同様である。

　なお、上記各実施形態では、第１の撮像部１１０がシャッタ２１を有し、補正データ取得処理がシャッタ２１を閉状態に駆動した状態で実施するものであるとして説明したが、補正データ取得処理は、シャッタを閉状態に駆動して実施するものには限定されない。例えば、シャッタ２１を閉状態として補正データ取得処理を実施するのに代えて、光学系による結像位置を制御して光学系を非合焦状態とし、補正データ取得処理を実施してもよい。その場合、補正データ取得処理は、光学系を非合焦状態とした状態で画素の不均一性を補正するための補正データを取得することを含んでもよい。

　図８は、変形例に係る第１の撮像部のブロック図を示す。変形例に係る第１の撮像部１１０ａは、光学系１０、赤外線検出器１１、アナログ信号処理部１２、ＡＤ変換器１３、デジタル信号処理部１４、出力部１５、焦点調整機構１６、位置センサ１７、温度センサ１８、及び制御部１９を有する。光学系１０、赤外線検出器１１、アナログ信号処理部１２、ＡＤ変換器１３、出力部１５、及び温度センサ１８については、第１実施形態において説明したものと同様でよい。

　光学系１０は１以上のレンズを含む結像光学系である。光学系１０は、結像面の位置（結像位置）の制御が可能である。焦点調整機構１６は、光学系１０と赤外線検出器１１との相対的な位置関係を調整する。以下では、光学系１０の位置を変化させることで、光学系１０と赤外線検出器１１との相対的な位置関係を調整するものとして説明する。焦点調整機構１６は、例えば光学系１０に含まれるレンズの位置を変化させるモータと、モータを駆動する駆動回路とを含む。位置センサ１７は、光学系１０に含まれるレンズの位置を検出する。光学系１０に含まれるレンズの位置が変化することで、光学系１０の結像位置が変化する。

　制御部１９は、光学系１０の結像位置を制御する焦点制御部としても働く。制御部１９は、焦点調整機構１６に光学系１０の位置を制御するための位置信号を送信する。焦点調整機構１６は、受信した位置信号が示す位置に光学系１０を移動させる。制御部１９は、通常撮像モード時は、焦点調整機構１６を介して、光学系１０の位置を、光学系１０の結像面が赤外線検出器１１の検出面と一致する位置に制御する。通常撮像モード時において、光学系１０の位置は、被写体の動きに追従して変化させてもよいし、ある位置に固定してもよい。

　制御部１９は、ＦＰＮデータの更新モード時は、焦点調整機構１６を介して、光学系１０の位置を、光学系１０の結像面が赤外線検出器１１の検出面と一致しない位置に制御する。制御部１９は、例えば、光学系１０の位置を、被写体が最も光学系１０に近いときに光学系１０が合焦状態となる位置、又は被写体が無限遠に存在するときに光学系１０が合焦状態となる位置に制御する。

　ここで、光学系１０の結像面が赤外線検出器１１の検出面と一致しない状態を、非合焦状態と呼ぶ。つまり、赤外線検出器１１の検出器素子に光学系１０による像が結像しない状態を、非合焦状態と呼ぶ。全ての検出器素子の領域において像が結像しない状態であることまでは要せず、一部の領域において像が結像していたとしても、全体としては非合焦状態であるとする。また、光学系１０の結像面が赤外線検出器１１の検出面と一致する状態を、合焦状態と呼ぶ。つまり、赤外線検出器１１の検出器素子に光学系１０による像が結像する状態を、合焦状態と呼ぶ。光学系１０の結像面と赤外線検出器１１の検出面とは完全に一致している必要はなく、赤外線検出器１１の検出面に被写体が認識できる程度に解像している状態を含む。

　通常撮像モード時に、光学系１０は合焦状態に制御されており、検出器素子に入射する赤外線の量は、被写体の像に依存して異なる。光学系１０が非合焦状態にされると、被写体の像が、赤外線検出器１１の検出面からずれた位置に結像し、被写体が解像しない。このため、赤外線検出器１１により撮像される赤外線画像はぼけた画像となり、赤外線検出器１１の各検出器素子に入射する赤外線の量を均一化できる。

　本変形例では、補正データ取得部４４は、シャッタが閉状態で赤外線検出器１１により検出された赤外線検出信号に基づいて補正データを取得するのに代えて、光学系１０が非合焦状態に制御された状態で赤外線検出器１１により検出された赤外線検出信号に基づいて補正データを取得する。本変形例は、シャッタ、及びシャッタを駆動する駆動回路が不要であり、第１の撮像部１１０の小型化などの観点において有利である。

　上記各実施形態では、赤外線撮像装置１００が車両２００に搭載される例について説明したが、これには限定されず、赤外線撮像装置１００は、車両２００における車両前方の監視以外の用途に使用されてもよい。画像出力部１３０が出力する画像は、画像処理装置２１０において画像処理され、或いは、画像表示装置２２０に表示されるだけでなく、ハードディスク装置やメモリカードなどの外部記憶装置に記憶されてもよい。画像出力部１３０は、ネットワークや通信ケーブルなどを通じて、外部のサーバや処理装置に画像データを送信してもよい。

　以上、本発明をその好適な実施形態に基づいて説明したが、本発明の赤外線撮像装置及びその制御方法、並びに車両は、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。