シリーズ「ハンドアイキャリブレーション入門」の第4章の後編です。前編では、内部パラメータがどれだけずれると、ハンドアイの精度がどれだけ悪くなるかを、シミュレーションで調べました。後編では、手元の RealSense D435 のカラーカメラで実際に撮影して内部パラメータを測り直し、工場出荷時の値と比べます。
先に結論を書きます。
- 工場出荷時の値は、レンズのゆがみを 0 とし、その分を焦点距離に含めて平均的に合わせた値でした。画像の上でのずれは 1〜2px 程度です。
- ところが、この値でボードの位置を計算すると、ボードまでの距離をおよそ 1% 遠く見積もります。その結果、ハンドアイの並進誤差は約 6mm になります(測り直した値なら約 0.4mm)。
- ハンドアイキャリブレーションには、自分で測り直した内部パラメータを使うことをおすすめします。
- 測り直す途中で、印刷したボードのわずかな反りが、測り直した値を大きく狂わせることも分かりました。この記事では、ボードの反りも一緒に求める方法で対処しています。
使用しているのは OpenCV などの公開されている手法のみです。
シリーズの構成
| 章 | 内容 | ロボット | カメラ |
|---|---|---|---|
| 第1章 | ハンドアイキャリブレーションの考え方 | ― | ― |
| 第2章 | シミュレーションで AX = XB を解き、正しく解けることを確認 | シミュレーション | シミュレーション |
| 第3章 | 精度は何で決まるか:計測誤差・姿勢の数・回転の大きさ | シミュレーション | シミュレーション |
| 第3章 補足 | OpenCV の5つの解法の注意点:Andreff の偏りと Daniilidis の 180° 問題 | シミュレーション | シミュレーション |
| 第4章 前編 | カメラの内部パラメータがずれると精度はどうなるか(シミュレーション編) | シミュレーション | シミュレーション |
| 第4章 後編(今回) | RealSense の内部パラメータは信用できるか(実測編) | ― | 実測 |
| 第5章 | ボードの位置姿勢の計測はどれくらいばらつくか | ― | 実測 |
| 第6章 | 実測したばらつきを使って、実機での精度を予測する | シミュレーション | 実測した誤差 |
| 番外編(予定) | 市販の安価なロボットアームで実機検証 | 実機 | 実測 |
前編のおさらい
前編のシミュレーションで分かったことは、次の3つです(コーナー位置誤差 0.1px・15姿勢の場合。ずれがないときの並進誤差は約 0.37mm)。
- 焦点距離やボードの寸法が 1% ずれると、並進誤差は約 5mm になる
- 主点が 5px ずれると、回転誤差は約5倍(約 0.21°)になる
- これらは系統誤差(いつも同じ向きにずれる誤差)なので、姿勢を増やしても減らない
並進誤差を 0.5mm 程度に収めるには、焦点距離もボードの寸法も 0.1% 程度の正確さが必要でした。後編では、工場出荷時の値がこの基準を満たしているかを調べます。
工場出荷時の値を読み出す
Intel の公式ライブラリ(pyrealsense2)で、カメラに保存されている工場出荷時の内部パラメータを読み出しました。カラーカメラ、解像度 1280×720 の値です。
| 内部パラメータ | 工場出荷時の値 |
|---|---|
| 焦点距離 fx / fy | 913.18 / 913.23 px |
| 主点 cx / cy | 641.18 / 359.50 px(画像の中心から +1.18 / −0.50 px) |
| ゆがみのモデル | inverse_brown_conrady |
| ゆがみの係数 | 5つすべて 0 |
(D435、ファームウェア 5.13.0.50。ほかの解像度でも、この値を解像度に合わせて換算した値で、ゆがみの係数はすべて 0 でした。inverse_brown_conrady は RealSense SDK のゆがみの式の名前です [5]。係数が 0 なので、ゆがみなしと同じ意味になります)
目を引くのは、ゆがみの係数がすべて 0 であることです。前編の実験3で見たように、レンズにゆがみがあるのに 0 として計算すると、精度は悪くなります。RealSense のサポートコミュニティでは、「D400 シリーズでは、SDK がゆがみの係数を 0 にして返している(D455 のカラーカメラは例外)」という回答があります [4]。ただし、これは公式の文書ではありません。そこでこの記事では、実際に測って確かめます。
撮影の目安を決める(シミュレーション)
内部パラメータを測り直す作業を、カメラのキャリブレーションと呼びます(第3章で説明しました)。ボードをいろいろな向きで何十枚も撮影し、OpenCV の calibrateCamera で内部パラメータを求めます。結果は撮影の仕方で変わるので、撮影の前に、ボードをどれくらい傾けて、何枚撮ればよいかをシミュレーションで調べました。
使うボード:ChArUco ボード
【ここに画像ブロックで図1(charuco_7x5_30mm_A4_preview.png)を挿入し、このブロックは削除】
ボードには ChArUco ボードを使います。市松模様(チェッカーボード)の白いマスに、ArUco マーカー(番号を表す小さな白黒の模様)を入れたボードです(図1)。マーカーの番号から、写っているコーナーが「ボードのどのコーナーか」が分かるので、ボードの一部が画面からはみ出していても使えます。画面の端までボードを写したいカメラのキャリブレーションに向いています。
今回は 7×5 マス(マス 30mm、マーカー 22mm)を A4 に印刷して使いました。内側のコーナーは 24 個です。
シミュレーションの条件
撮影の前なので、本当の内部パラメータは分かりません。そこで、仮の値として、焦点距離 924px(前編と同じ想定)、主点 (646, 357)(画像の中心から数 px ずらした値)、ゆがみ k1 = 0.05・k2 = −0.02(前編の実験3の範囲の、小さめの値)を使いました。ここで知りたいのは「撮り方によって誤差がどう変わるか」なので、仮の値は実際の値に近ければ十分です。コーナー位置誤差は第3章と同じ 0.1px、ボードまでの距離は 350〜600mm です。
ゆがみのモデル(ゆがみを表す式)は、次の2つを比べました。
| モデル | 求める係数 | 説明 |
|---|---|---|
| full | k1, k2, k3, p1, p2 | OpenCV の標準。半径方向のゆがみ(k1, k2, k3)と、接線方向のゆがみ(p1, p2)を求める |
| simple | k1, k2 | k3 と接線方向のゆがみを 0 に固定する |
接線方向のゆがみは、レンズとセンサーがわずかに傾いて組み付けられていることなどで生じるゆがみです。求める係数が少ないほど、値はばらつきにくくなりますが、実際のレンズを表しきれないおそれがあります。
実験A:ボードの傾き
20枚撮影する場合に、ボードの傾きの最大値を変えました(傾きは 0° から最大値までばらつかせる)。
【ここに画像ブロックで図2(04b_shoot_tilt_ja.png)を挿入し、このブロックは削除】
| 傾きの最大値 | 焦点距離の誤差 | 並進誤差の目安 |
|---|---|---|
| 10° | 0.84% | 約 4.4mm |
| 20° | 0.24% | 約 1.2mm |
| 30° | 0.26% | 約 1.3mm |
| 40° | 0.14% | 約 0.7mm |
| 50° | 0.08% | 約 0.4mm |
(モデル full、100 回の中央値。並進誤差の目安は、前編の感度「焦点距離 1% で約 5.2mm」で換算)
- ボードをあまり傾けないと(最大 10°)、焦点距離の誤差は約 0.8% になります。前編の感度では、並進誤差 約 4mm に相当します。
- 最大 40〜50° まで傾けた画像を含めると、0.1% 前後まで下がります。
傾けると焦点距離が決まるのは、次の理由です。正面からだけ撮ると、「焦点距離が長く、ボードが遠い」のか「焦点距離が短く、ボードが近い」のかを区別できません。どちらも同じ大きさに写るからです。ボードを傾けると、手前の側は大きく、奥の側は小さく写ります。この大きさの違い方から距離が分かるので、焦点距離も決まります。
実験B:画像の枚数
傾きの最大値を 50° にして、画像の枚数を変えました。
【ここに画像ブロックで図3(04b_shoot_count_ja.png)を挿入し、このブロックは削除】
- 焦点距離の誤差は、8枚で 0.13%、20枚で 0.07%、40枚で 0.06% でした。20〜30枚あれば十分で、それ以上は改善がゆるやかです。
- 主点の誤差は、full のほうが simple より大きくなりました(20枚で約 1.5px と約 0.6px)。ただし、このシミュレーションの本当のレンズには接線方向のゆがみを入れていないので、simple に有利な条件です。実際のレンズでどちらのモデルを使うかは、後で説明する「使っていない画像での再投影誤差」で選びます。
撮影の目安
【ここに画像ブロックで図4(04b_tilt_guide_ja.png)を挿入し、このブロックは削除】
- ボードを最大 40〜50° まで、上下・左右・斜めに傾けた画像を含める(図4)
- 20〜30枚撮る
撮影とキャリブレーション
撮影
撮影用のスクリプトを作り、カメラの映像に、ボードの傾きと距離を表示するようにしました。キーを押すと画像を保存します。画面の四隅と各辺の中央には枠を表示し、そこまでボードが写ったかを確かめられるようにしました。
撮影は3回に分けて行いました。
| 回 | 枚数 | ボード | 撮り方 |
|---|---|---|---|
| 1回目 | 25 | 印刷した紙を板に貼ったもの【要確認:板の材質】 | ボードを手で持って傾ける |
| 2回目 | 36 | 硬い板に貼り直したもの【要確認:板の材質】 | ボードを手で持って傾ける |
| 3回目 | 10 | 2回目と同じ | ボードを固定し、カメラを動かして、画面の四隅と各辺の中央にボードを写す(ほぼ正面) |
ボードを貼り直した理由は、次の節で説明します。3回目は、2回目で画面の隅に写ったコーナーが少なかったため、撮り足したものです。
計算の手順と、良し悪しの測り方
コーナーは OpenCV の CharucoDetector で検出し、cornerSubPix で位置を細かく合わせてから、内部パラメータを求めました。
結果の良し悪しは、第3章で紹介した再投影誤差で測ります。求めた内部パラメータとボードの姿勢から「コーナーが画像のどこに写るはずか」を計算し、実際に検出した位置との差をピクセル単位で表したものです(ここでは全コーナーの二乗平均平方根)。
ただし、キャリブレーションに使った画像の再投影誤差は、求める係数を増やすほど必ず小さくなります。係数が、画像ノイズにまで合わせ込んでしまうからです。そこでこの記事では、使っていない画像での再投影誤差も使います。画像を半分に分け、片方の画像で内部パラメータを求め、もう片方の画像で再投影誤差を測ります(ボードの姿勢は、もう片方の画像で求め直します)。分け方を 50 通り変えて、中央値を取ります。こうすると、写り方を本当によく表している内部パラメータほど小さな値になります。工場出荷時の値も、同じ方法で評価できます。
また、測り直した値自体のばらつきを、組を変えたばらつきで表します。半分の画像で求め直したときの値の標準偏差(50 回)です。全部の画像で求めた値のばらつきは、この約 1/√2 になります。
ボードの反りの発見と対処
再投影誤差が大きすぎる
1回目の 25枚でキャリブレーションすると、再投影誤差は 0.40px でした。第3章で想定したコーナー位置誤差(0.1px)の4倍です。焦点距離は 888px で、工場出荷時の値(913px)より 2.7% も短くなりました。
原因を調べると、印刷したボードが平らでないことが分かりました。この記事では、ボードが平らでないことをボードの反りと呼び、レンズの「ゆがみ」と区別します。
画像から反りが分かる理由
普通のカメラのキャリブレーションは、ボードのコーナーがすべて同じ平面の上にあると仮定しています。では、コーナーが平面から浮き沈みしていると、どう写るでしょうか。
【ここに画像ブロックで図5(04b_warp_concept_ja.png)を挿入し、このブロックは削除】
正面から見ると、浮き沈みの向きは視線とほぼ同じなので、写る位置はほとんど変わりません(図5(a))。ボードを傾けると、浮き沈みが視線に対して横向きになるので、写る位置が横にずれます(図5(b))。距離 45cm・傾き 30° では、1mm の浮きで約 1px ずれます。コーナー位置誤差(0.1px)の約 10 倍なので、十分に見分けられる大きさです。
反りも一緒に求める
そこで、24個のコーナーそれぞれの平面からの浮き沈みを未知数に加え、内部パラメータや各画像のボードの姿勢と一緒に求めました。ボードの形は撮影中に変わらないとして、浮き沈みはすべての画像で共通とします。なお、ボード全体の傾きや前後の位置は、ボードの姿勢と区別できません。そのため、浮き沈みからは平面の成分を除き、でこぼこだけを求めます。
これは Strobl と Hirzinger [2] と同じ考え方です。OpenCV にも同じ考え方の関数(calibrateCameraRO)がありますが、今回の環境(OpenCV 4.14)ではエラーで動かなかったため、SciPy の最小二乗法(least_squares)で計算しました。
反りも一緒に求めると、再投影誤差は 0.40px から 0.17px に下がり、焦点距離は 888px から 902px に変わりました。
本物の反りだと言える根拠
未知数を増やせば、再投影誤差は多少は下がります。今回下がったのが、たまたまの合わせ込みではないことは、次の点から確かめました。
- 下がり方が大きすぎる:加えた未知数は実質 21個(24個から平面の成分の3つを除く)、データはコーナーの座標 1200個(25枚 × 24コーナー × 縦横)です。たまたまの合わせ込みなら、再投影誤差は 1% 程度しか下がりません。実際は半分以下になりました。
- 画像を分けても同じ形になる:偶数番と奇数番の画像で別々に求めても、反りの形はほぼ同じでした(相関 0.99、図6(a)(b))。画像ノイズによる見かけの反りなら、形はそろいません。
- 片方で求めた反りが、もう片方にも効く:偶数番の画像で求めた反りを奇数番の画像に当てはめると、再投影誤差は 0.41px から 0.17px に下がりました(逆も 0.39px から 0.17px)。
ほかの原因とも区別できます。手ぶれは画像ごとにずれ方がばらばらで、レンズのゆがみの不足は画面の上の位置でずれ方が決まります。今回のずれは「ボードのどのコーナーか」で決まっていたので、ボードそのものが原因です。
【ここに画像ブロックで図6(04b_warp_map_ja.png)を挿入し、このブロックは削除】
1回目のボードは、最大と最小の差で約 1.6mm 反っていて、上辺の中央やや左が約 1.1mm カメラ側に出ていました(図6(a)(b))。
反りは何 mm まで許されるか
反ったボードを平らと仮定して計算すると、ハンドアイの精度はどれだけ悪くなるのでしょうか。シミュレーションで調べました。
- 反りの形:1回目で推定した形と、お椀形(中央と周りの高さが違う、なめらかな形)の2つ
- 反りの大きさ(最大と最小の差):0〜1.7mm(1.7mm は1回目の反りとほぼ同じ)
- カメラのキャリブレーション:傾き 0〜50°・25枚・モデル simple(1回目の撮影に合わせた)
- ハンドアイ:第3章の基準条件(15姿勢)、Park。各 30 回の中央値
反ったボードで撮影した画像から、カメラのキャリブレーションとハンドアイキャリブレーションを続けて行い、どちらもボードを平らと仮定して計算します。
【ここに画像ブロックで図7(04b_warp_tolerance_ja.png)を挿入し、このブロックは削除】
| 反り | 平らと仮定(1回目の形) | 平らと仮定(お椀形) | 反りも一緒に求める |
|---|---|---|---|
| 0mm | 0.62 mm | 0.62 mm | 0.65 mm |
| 0.1mm | 1.11 mm | 2.48 mm | 0.65 mm |
| 0.3mm | 2.31 mm | 6.34 mm | 0.65 mm |
| 0.5mm | 3.68 mm | 10.69 mm | 0.65〜0.66 mm |
| 1.0mm | 7.07 mm | 21.05 mm | 0.66 mm |
| 1.7mm | 11.68 mm | 34.97 mm | 0.66〜0.67 mm |
(ハンドアイの並進誤差。反りがなくても 0.62mm なのは、カメラのキャリブレーション自体の誤差が加わるため。第3章の 0.37mm は内部パラメータが正確な場合)
- 平らと仮定すると、並進誤差は反りに比例して大きくなります。 0.1mm の反りでも約2倍(お椀形では約4倍)です。
- 原因のほとんどは、カメラのキャリブレーションで焦点距離がずれることです(0.1mm あたり、1回目の形で約 0.12%、お椀形で約 0.37% 短くなる)。前編の実験1と同じ仕組みで、並進がずれます。
- 一方で、再投影誤差はほとんど増えません(0.1mm の反りで 0.131px → 0.134px)。再投影誤差が小さくても、反りがないとは言えません。
- 反りによる悪化を、カメラのキャリブレーション自体の誤差(並進で約 0.35mm)以下にするには、反りを 0.03〜0.05mm 以下(お椀形なら 0.01〜0.02mm 以下)にする必要があります。紙に印刷したボードでは現実的ではありません。
- 反りも一緒に求めると、1.7mm 反っていても並進誤差は 0.65〜0.67mm で、反りがない場合とほぼ同じです。 反りがないときに求めても、損はほとんどありません(0.62mm → 0.65mm)。
そこで、この記事では以降も、反りを一緒に求めます。ただし、反りを求めるには大きく傾けた画像が必要です。また、撮影中にボードの形が変わらないこと(手で持っても曲がらない硬い板に貼ること)が前提です。
貼り直したボード
ボードを硬い板に貼り直して撮影した2回目では、推定した反りは最大と最小の差で 0.17mm でした(図6(c))。偶数番と奇数番の画像に分けると形がそろわない(相関 0.28)ので、この大きさはほぼ推定の誤差で、ボードはほぼ平らと言えます。平らと仮定した場合(焦点距離 901.5px)と、反りも求めた場合(902.2px)の差も小さくなりました。
手の動きによる誤差
2回目の再投影誤差は 0.37px で、反りを求めても下がりませんでした。一方、ボードを固定し、カメラを止めてから撮った3回目の画像では、再投影誤差は 0.15px でした(画像ごとの中央値。同じ計算で2回目は 0.31px)。2回目の誤差は、手で持ったボードの動きが原因と考えています。
D435 のカラーカメラはローリングシャッターです。画像を上の行から順に、少しずつ時間をずらして読み取る方式で、撮影中にボードやカメラが動くと、行ごとに違う瞬間が写り、像がゆがみます。手で持ったボードは止めたつもりでもわずかに動くので、ボードを固定してカメラ側を動かし、止めてから保存するほうが確実です。
工場出荷時の値との比較
ゆがみのモデルを選ぶ
2回目と3回目を合わせた 46枚で、ゆがみのモデルを比べました。
| 内部パラメータ | 使っていない画像での再投影誤差 |
|---|---|
| 測り直した値(full) | 0.366 px |
| 測り直した値(simple) | 0.390 px |
| 工場出荷時の値 | 0.491 px |
full が一番よく合うので、以降は full で求めた値を使います。工場出荷時の値は、測り直した値より 0.1px ほど大きなずれになりました。
値の比較
| 内部パラメータ | 工場出荷時 | 測り直した値(full) | 差(工場出荷時 − 測り直し) | 組を変えたばらつき |
|---|---|---|---|---|
| 焦点距離 fx | 913.18 px | 902.64 px | +10.5 px(+1.17%) | 2.8 px |
| 焦点距離 fy | 913.23 px | 904.09 px | +9.1 px(+1.01%) | 2.9 px |
| 主点 cx | 641.18 px | 644.17 px | −3.0 px | 3.6 px |
| 主点 cy | 359.50 px | 360.47 px | −1.0 px | 1.8 px |
| ゆがみ k1 / k2 / k3 | 0 / 0 / 0 | 0.141 / −0.438 / 0.387 | ― | ― |
| ゆがみ p1 / p2 | 0 / 0 | 0.001 / 0.000 | ― | ― |
(ボードの反りも一緒に求めた。反りは最大と最小の差で 0.15mm)
- 焦点距離は、工場出荷時の値が約 1.1% 長い(fx と fy の平均で 1.09%)。測り直した値のばらつき(全部の画像で約 2px)の5倍ほどあり、はっきりした差です。
- 主点の差は約 3px です。測り直した値のばらつき(全部の画像で約 2.5px)と同じくらいなので、はっきり差があるとは言えません。
- ゆがみは、工場出荷時の値では 0 ですが、測り直すと 0 ではありません。
【ここに画像ブロックで図8(04b_fx_sessions_ja.png)を挿入し、このブロックは削除】
焦点距離の差は、撮影の回を変えても同じでした(図8)。反りを一緒に求めた3つの結果は 902px 前後でそろっていて、工場出荷時の 913px とは離れています。
焦点距離の差の正体
では、なぜ工場出荷時の焦点距離は 1.1% 長いのでしょうか。測ったレンズのゆがみの形を見ると、理由が分かります。
【ここに画像ブロックで図9(04b_distortion_profile_ja.png)を挿入し、このブロックは削除】
図9は、測ったレンズで、像が画面の中心に比べて何% 大きく写るかを示したものです。中心から離れるほど像が少し大きく写り、中心から 400〜500px のあたりで約 1.4% 大きくなります。
このレンズを、ゆがみなしのモデル(焦点距離と主点だけ)で、画面全体で一番よく合うように近似してみました。画面全体に格子状に点を並べ、測り直した値で各点が写る向きを計算し、同じ位置に写るような焦点距離と主点を最小二乗法で求めます。結果は fx 913.1px・fy 914.6px で、工場出荷時の値(913.2px)とほぼ一致しました(図8の最下段)。このときの写る位置のずれは、画面全体で二乗平均平方根 0.87px、最大 1.9px です。
つまり、工場出荷時の焦点距離は、ゆがみを 0 とする代わりに、ゆがみによる像の拡大を平均的に焦点距離に含めた値だと考えられます。画像全体で見れば、1〜2px 以内で合っています。
なお、ここで言う「ゆがみ」は、歪曲収差(まっすぐな線が曲がって写るレンズの性質)に加えて、コマ収差・倍率色収差のうち位置のずれとして現れる分を含みます。市松模様のコーナーは交点のまわりで点対称なので、点対称なぼけ(非点収差・像面湾曲・ピンぼけ)では、交点の位置は動きません。コマ収差や倍率色収差は位置をずらしますが、そのずれ方は画面の上の位置で決まるので、ゆがみの係数にまとめて含まれ、一緒に補正されます。係数で表しきれない分は再投影誤差として残りますが、止めて撮った3回目の画像で 0.15px 以下でした。円の模様の重心を使う方式は、ぼけ方や見る角度によってずれやすいことが知られており [3]、コーナーを使う利点の1つです。
ハンドアイへの影響
画像の上で 1〜2px のずれなら、問題はなさそうにも見えます。実際にハンドアイの精度にどれだけ効くかを、シミュレーションで調べました。
- 本当のカメラ:測り直した値(full)。今回いちばん確からしい値なので、これを本当の値とみなします
- 手順:本当のカメラでコーナーを画像に写し、コーナー位置誤差 0.1px を加えたうえで、(a) 測り直した値、(b) 工場出荷時の値、のそれぞれで
solvePnPを計算し、calibrateHandEyeで X を求める - 撮影の条件:第3章の基準条件(15姿勢)。ボードが写る場所を2通りにしました。1つは第3章と同じく、ボードがほぼ画面の中央に写る場合(カメラが向く先のばらつき ±3cm)です。もう1つは、画面の端の近くにも写る場合(±12cm)です
- 各 200 回の中央値、Park
【ここに画像ブロックで図10(04b_handeye_impact_ja.png)を挿入し、このブロックは削除】
| ボードが写る場所 | 内部パラメータ | 回転誤差 | 並進誤差 |
|---|---|---|---|
| 画面の中央 | 測り直した値 | 0.045° | 0.38 mm |
| 画面の中央 | 工場出荷時の値 | 0.215° | 5.95 mm |
| 画面の端にも写る | 測り直した値 | 0.043° | 0.39 mm |
| 画面の端にも写る | 工場出荷時の値 | 0.429° | 7.89 mm |
(Park、200 回の中央値。Tsai・Horaud・Daniilidis でも、工場出荷時の値の並進誤差は 5.9〜6.2mm と 7.8〜8.7mm で、ほぼ同じ)
- 工場出荷時の値を使うと、並進誤差は約 6mm で、測り直した値(約 0.4mm)の約 16 倍です。
- ボードが画面の端にも写ると、並進誤差は約 8mm、回転誤差は約 0.43°(測り直した値の約 10 倍)になります。
- 測り直した値なら、第3章の「ずれがない場合」(0.37mm、0.044°)とほぼ同じです。
なぜ並進が 6mm もずれるのか
前編で説明したように、カメラはボードの見かけの大きさから距離を計算します。画面の中央付近では、レンズのゆがみによる拡大は小さく(図9の左側)、像の大きさは中心での焦点距離 約 903px にほぼ見合っています。ところが工場出荷時の値は、画面全体の平均に合わせた 913px です。そのため、ボードまでの距離をおよそ 1% 遠く見積もります。これは前編の実験1(焦点距離のずれ)と同じ状況で、カメラが光軸の方向にずれた答えになります。
前編のグラフに当てはめてみると、焦点距離のずれ 1.09% からは並進誤差 約 5.7mm、主点のずれ約 3px からは回転誤差 約 0.14° と読み取れます。並進はシミュレーション(5.95mm)とよく合っています。回転がシミュレーション(0.215°)より小さいのは、前編のグラフにはゆがみの分が入っていないためと考えられます。
工場出荷時の値の「画面全体で平均的に合わせる」という作り方は、画像の上でのずれを小さくするには合理的です。しかし、ボードまでの距離という点では、ボードが写っている場所の拡大率と合わないため、約 1% の偏りになります。しかもこれは系統誤差なので、前編で見たとおり、姿勢を増やしても減りません。
ボードの寸法について
前編では、ボードの寸法も確かめると書きました。ここで1つ注意があります。カメラのキャリブレーションでは、ボードの一様な寸法のずれは分かりません。 ボードが一様に 1% 大きいと、同じ画像が 1% 遠くで撮れるだけで、内部パラメータは変わらないからです。一方、ハンドアイでは前編の実験4のとおり並進がずれるので、別の方法で確かめる必要があります。
今回は、印刷したボードの寸法を測って問題がないことを確かめ、マスの大きさを 30.0mm として計算しました【要確認:測った道具(定規・ノギスなど)と、読み取れた精度】。ただし、前編で見たように、0.2% のずれ(ボード全体の幅 210mm で 0.4mm)でも並進誤差は約 1mm 増えます。この記事の結果は、ボードの寸法が正しいという前提の上に成り立っています。
実践的な目安
この章の結果から、RealSense D435 のカラーカメラでハンドアイキャリブレーションを行うときの目安をまとめます。
ハンドアイには、工場出荷時の値ではなく、自分で測り直した内部パラメータを使う。 今回のカメラでは、並進誤差が約 6mm から約 0.4mm に下がります。測り直すときは、次の点に気を付けます。
撮影
- ボードを最大 40〜50° まで傾けた画像を含める
- 20〜30枚以上撮る
- 画面の四隅と各辺の近くにもコーナーが写るようにする
- 止めてから保存する。ボードを固定してカメラ側を動かすと止めやすい
ボード
- 硬い板に貼る。完全に平らでなくてもよいが、撮影中に形が変わらないことが大事
- 反りも一緒に求める。平らと仮定すると、0.1mm の反りでも並進誤差が約2倍になり、再投影誤差では気付けない
- 寸法は別の方法で確かめる。カメラのキャリブレーションでは分からない
評価
- 使っていない画像での再投影誤差で、ゆがみのモデルを選び、工場出荷時の値とも比べる
結果の解釈の限界
- 1台の D435 の、カラーカメラ・1280×720 での結果です。同じ機種でも、個体によって違う可能性があります。
- 測り直した値にもばらつきがあります(焦点距離で約 2px=0.2%。ハンドアイの並進で約 1mm に相当)。
- 本当の内部パラメータは分かりません。測り直した値のほうが写り方に合うことは、使っていない画像での再投影誤差で確かめましたが、物差しで動かした距離と比べるなどの、実物での確認はしていません。
- ボードの寸法は正しいと仮定しています。
- 再投影誤差(0.37px)は、文献 [1] の D435 カラーカメラの値(0.092px)より大きめです。手で持って撮った2回目の画像が多いことと、[1] がより細かいカメラのモデルを使っていることが理由と考えられます。
- ハンドアイへの影響は、シミュレーションで見積もったものです。
- IR カメラは調べていません。将来、ご要望があれば、IR カメラでも同じ検証を行う予定です。
まとめと次回予告
- RealSense D435 のカラーカメラの工場出荷時の値は、ゆがみの係数がすべて 0 で、焦点距離は 913.2px だった。測り直すと、焦点距離は 902.6px で、ゆがみもあった
- 工場出荷時の焦点距離は、ゆがみによる拡大を平均的に含めた値と考えられる。画像の上でのずれは 1〜2px 程度
- それでも、ボードまでの距離をおよそ 1% 遠く見積もるため、ハンドアイの並進誤差は約 6mm になる。測り直した値なら約 0.4mm
- 印刷したボードの反りは、傾けて撮った画像から推定できる。平らと仮定すると、0.1mm の反りでも並進誤差が約2倍になる。反りも一緒に求めれば、影響はほぼなくなる
次回の第5章では、同じ位置に置いたボードを何度も撮影して、ボードの位置姿勢の計測がどれくらいばらつくかを実測します。第3章で仮定したコーナー位置誤差 0.1px が、実際のカメラで妥当かを確かめます。
参考
- [1] T. Schöps, V. Larsson, M. Pollefeys, and T. Sattler, “Why Having 10,000 Parameters in Your Camera Model Is Better Than Twelve,” CVPR, 2020.
- [2] K. H. Strobl and G. Hirzinger, “More Accurate Pinhole Camera Calibration with Imperfect Planar Target,” IEEE International Conference on Computer Vision Workshops (ICCV Workshops), 2011.
- [3] J. Mallon and P. F. Whelan, “Which pattern? Biasing aspects of planar calibration patterns and detection methods,” Pattern Recognition Letters, vol. 28, no. 8, 2007.
- [4] RealSense サポートコミュニティでの回答(D400 シリーズのゆがみの係数について)【要確認:リンク先】
- [5] IntelRealSense/librealsense Wiki, “Projection in RealSense SDK 2.0.”
コメント