【０００１】[0001]
【産業上の利用分野】この発明は移動体の階段などの認
識方法に関し、より具体的には外界を立体視して移動す
る移動ロボットにおいて階段などの路面から突出する物
体を高速に認識して位置情報を得る様にしたものに関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for recognizing stairs or the like of a moving body, and more specifically, for recognizing an object protruding from a road surface such as stairs at high speed in a mobile robot that moves while stereoscopically viewing the external world. It is related to the one that obtains location information.
【０００２】[0002]
【従来の技術】近時、脚式、車輪型、クローラ型などの
種々の自律型の移動ロボットが提案されている。その様
なロボットを移動させるには、予め設定した移動パター
ンに従って所定の経路を移動させる手法と、移動ロボッ
トに外界を認識する視覚センサなどを備えさせ、ロボッ
トに四囲の状況を認識、判断させて移動させる手法とが
考えられる。前者の手法をとるときは予め地図情報など
の正確な位置情報を用意する必要がある。後者の手法を
とるときはその様な位置情報は不要となる代わり、自ら
階段など水平路面から突出する物体を速やかに認識して
その位置情報を得なければならない。後者の従来技術と
しては例えば特開昭５９─７９３７７号公報記載のもの
が知られている。この例においては１個の視覚センサの
み備えて移動しつつ異なった位置で画像を得、２値化処
理を行って階段の幅などを測定している。2. Description of the Related Art Recently, various autonomous mobile robots such as leg type, wheel type, and crawler type have been proposed. In order to move such a robot, a method of moving a predetermined route according to a preset movement pattern and a visual sensor for recognizing the outside world to the mobile robot are provided, and the robot is made to recognize and judge the surrounding situation. A method of moving is considered. When using the former method, it is necessary to prepare accurate position information such as map information in advance. When the latter method is adopted, such position information is not necessary, but the position information must be obtained by promptly recognizing the object protruding from the horizontal road surface such as stairs. As the latter conventional technique, for example, one described in Japanese Patent Laid-Open No. 59-79377 is known. In this example, only one visual sensor is provided to obtain images at different positions while moving, and binarization processing is performed to measure the width of stairs.
【０００３】[0003]
【発明が解決しようとする課題】上記した従来技術は階
段の存在の認識自体は行っておらず、階段が存在するこ
とを前提としてその主要諸元を測定することを主眼して
いるが、一般的に外界を認識するときに対象物が何であ
るか特定するのが容易ではなく、そのために専用のハー
ドウェアを備え、対象物の輪郭を抽出するにも空間微分
などの複雑な画像処理を行う必要がある。The above-mentioned prior art does not recognize the existence of stairs itself, but aims to measure the main specifications on the assumption that stairs exist. It is not easy to identify what the object is when recognizing the external environment, and for that purpose it has dedicated hardware and performs complex image processing such as spatial differentiation to extract the contour of the object. There is a need.
【０００４】従って、この発明の目的は、簡易に階段な
どの水平路面からの障害物を認識してその位置情報を得
ることができ、専用のハードウェアなどを特に必要とせ
ずに一般の計算機システム上でも容易に構築することが
できる移動体の階段などの認識方法を提供することにあ
る。Therefore, an object of the present invention is to easily recognize an obstacle from a horizontal road surface such as stairs and obtain its position information, and a general computer system without requiring special hardware. It is to provide a method of recognizing stairs, etc. of a moving body that can be easily constructed even above.
【０００５】[0005]
【課題を解決するための手段】上記した課題を解決する
ためにこの発明は例えば請求項１項に示す如く、１つま
たは複数の視覚センサを有し、それから得られる情報を
参考にして移動制御を行い移動する移動体において、前
記視覚センサから得られる画像に対する所定の２値化処
理により、各面内の殆どの画素がそれらの面を区分する
境界領域内及び背景内の画素とは異なる出力値を持つよ
うな多面体を含む外界について前記２値化処理を施して
２値画像を得、２値のいずれかについて画像における面
積を求め、及び求めた面積に基づいて多面体を認識する
ことからなる如く構成した。In order to solve the above problems, the present invention has, for example, one or a plurality of visual sensors as set forth in claim 1, and movement control is performed with reference to information obtained therefrom. In a moving object that moves by performing a predetermined binarization process on an image obtained from the visual sensor, most of the pixels in each surface are different from the pixels in the boundary area that separates the surfaces and the pixels in the background. The above-mentioned binarization processing is performed on the external world including a polyhedron having a value to obtain a binary image, and the area in the image is obtained for any one of the binary values, and the polyhedron is recognized based on the obtained area. Configured as
【０００６】[0006]
【作用】２値画像の面積に基づいて多面体を認識するの
で、構成が簡易であって専用のハードウェアなどを必要
とせず、また予め作られた地図情報などの正確な位置情
報を必要としない。その結果、工場、事務所などの移動
体の作業環境で階段を含む移動経路をおおまかに指示す
るのみで、その階段を発見して昇降することが可能とな
る。尚、その様な限定的な作業環境では階段などの多面
体の上面に背景に対して十分大きな明度を与えておくの
は、さして支障とはならない。Since the polyhedron is recognized based on the area of the binary image, the structure is simple and no dedicated hardware or the like is required, nor is accurate position information such as pre-made map information required. .. As a result, it is possible to find the stairs and move up and down by roughly indicating the movement route including the stairs in the working environment of the moving body such as the factory or the office. In such a limited working environment, it is not a problem to give a sufficiently large brightness to the background on the upper surface of a polyhedron such as stairs.
【０００７】[0007]
【実施例】以下、移動体として２足歩行脚式移動ロボッ
トを例にとってこの発明の実施例を説明する。図１はそ
のロボット１を全体的に示す説明スケルトン図であり、
左右それぞれの脚部に６個の関節（軸）を備える（理解
の便宜のために各関節（軸）をそれを駆動する電動モー
タで例示する）。該６個の関節（軸）は上から順に、腰
の脚部回旋用の関節（軸）１０Ｒ，１０Ｌ（右側をＲ、
左側をＬとする。以下同じ）、腰のピッチ方向（ｘ方
向）の関節（軸）１２Ｒ，１２Ｌ、同ロール方向（ｙ方
向）の関節（軸）１４Ｒ，１４Ｌ、膝部のピッチ方向の
関節（軸）１６Ｒ，１６Ｌ、足首部のピッチ方向の関節
（軸）１８Ｒ，１８Ｌ、同ロール方向の関節（軸）２０
Ｒ，２０Ｌとなっており、その下部には足部２２Ｒ，２
２Ｌが取着されると共に、最上位には胴体部（基体）２
４が設けられ、その内部にはマイクロ・コンピュータか
らなる制御ユニット２６が格納される。Embodiments of the present invention will be described below by taking a bipedal legged mobile robot as an example of a moving body. FIG. 1 is an explanatory skeleton diagram showing the robot 1 as a whole,
Each of the left and right legs has six joints (axes) (for convenience of understanding, each joint (axis) is exemplified by an electric motor that drives the joints). The six joints (axes) are, in order from the top, joints (axes) 10R, 10L for rotating the legs of the waist (R on the right side,
The left side is L. The same applies hereinafter), joints (axes) 12R and 12L in the waist pitch direction (x direction), joints (axes) 14R and 14L in the same roll direction (y direction), and joints (axes) 16R and 16L in the knee pitch direction. , Joints (axes) 18R, 18L in the pitch direction of the ankle, and joints (axes) 20 in the roll direction
R, 20L, and feet 22R, 2L below it.
2L is attached, and the body (base) 2 is on the top.
4 is provided inside which a control unit 26 comprising a microcomputer is stored.
【０００８】上記において股関節は関節（軸）１０Ｒ
（Ｌ），１２Ｒ（Ｌ），１４Ｒ（Ｌ）から構成され、ま
た足関節は、関節（軸）１８Ｒ（Ｌ），２０Ｒ（Ｌ）か
ら構成されると共に、脚部リンクは左右の足についてそ
れぞれ６つの自由度を与えられ、歩行中にこれらの６×
２＝１２個の関節（軸）をそれぞれ適宜な角度に駆動す
ることで、足全体に所望の動きを与えることができ、任
意に３次元空間を歩行することができる様に構成され
る。尚、股関節と膝関節との間は大腿リンク２８Ｒ，２
８Ｌで、膝関節と足関節との間は下腿リンク３０Ｒ，３
０Ｌで連結される。これらの関節は主として先に述べた
様に電動モータと、その出力を倍力する減速機とから構
成されるが、その詳細は先に本出願人が提案した出願
（特願平１−３２４２１８号、特開平３−１８４７８２
号）などに述べられており、それ自体はこの発明の要旨
とするところではないので、これ以上の説明は省略す
る。In the above, the hip joint is a joint (axis) 10R
(L), 12R (L), 14R (L), the ankle joint is composed of joints (axes) 18R (L), 20R (L), and the leg links are provided for the left and right feet respectively. Given 6 degrees of freedom, these 6 × during walking
By driving each of the 2 = 12 joints (axes) to an appropriate angle, a desired motion can be given to the entire foot, and the user can walk in a three-dimensional space arbitrarily. The thigh links 28R, 2 are provided between the hip joint and the knee joint.
8L, lower leg links 30R, 3 between the knee joint and the ankle joint
Connected with 0L. These joints are mainly composed of the electric motor and the speed reducer that boosts the output thereof as described above, but the details are described in the application previously proposed by the applicant (Japanese Patent Application No. 1-324218). Japanese Patent Laid-Open No. 3-184782
No.), etc., and is not the gist of the present invention per se, so further description will be omitted.
【０００９】ここで、図１に示すロボット１の胴体部２
４には剛性を備えたプレート３４上にイメージセンサ３
６が２個固定される。イメージセンサ３６は公知の受光
部と蓄積部とを備えたＣＣＤ（固体映像素子）カメラか
らなり、その出力はマイクロ・コンピュータからなる画
像処理ユニット３８に送られる。画像処理ユニット３８
は図２に示す如き５１２×５１２の画素からなる画像メ
モリを備える。イメージセンサ３６はプレート３４上に
移動しない様に強固に固定されると共に、プレート３４
は軸４０上に取着されており、制御ユニット２６の指令
に応じて図示しない機構を介して軸４０を回動してイメ
ージセンサ３６を図１においてｙ軸方向に揺動できる様
に構成する。また図１に示すロボット１は足部を介して
ロボットに伝達されるｘ，ｙ，ｚ方向の力成分とその方
向回りのモーメント成分とを検出する６軸力センサ４
４、各関節の角度を検出するエンコーダ４６及び路面に
対する胴体部２４の傾斜角（速）度を検出する傾斜角セ
ンサ（図示せず）などを備えており、制御ユニット２４
はそれらの出力を受けてロボットの姿勢に関する情報を
得ると共にイメージセンサ２２から視覚情報を得て目標
関節角（速）度をリアルタイムに算出し、各関節を目標
値に制御して歩行させる。Now, the body portion 2 of the robot 1 shown in FIG.
The image sensor 3 is mounted on the plate 34 having rigidity.
Two 6 are fixed. The image sensor 36 is a CCD (solid-state image device) camera having a known light receiving portion and a storage portion, and its output is sent to an image processing unit 38 including a microcomputer. Image processing unit 38
Includes an image memory composed of 512 × 512 pixels as shown in FIG. The image sensor 36 is firmly fixed so as not to move on the plate 34, and
Is attached to the shaft 40, and is configured to rotate the shaft 40 via a mechanism (not shown) according to a command from the control unit 26 so that the image sensor 36 can be swung in the y-axis direction in FIG. .. Further, the robot 1 shown in FIG. 1 has a six-axis force sensor 4 for detecting force components in the x, y, z directions and moment components around the directions, which are transmitted to the robot via the legs.
4. The control unit 24 includes an encoder 46 for detecting the angle of each joint and an inclination angle sensor (not shown) for detecting the inclination angle (speed) of the body portion 24 with respect to the road surface.
Receives these outputs and obtains information about the posture of the robot and visual information from the image sensor 22 to calculate a target joint angle (speed) degree in real time, and controls each joint to a target value to walk.
【００１０】この発明の要旨は内界、外界情報を得て自
律的に歩行する移動ロボットにおいて階段などの突起物
を認識することにあるので、以下その点に焦点をおいて
説明する。尚、この発明において階段は図３に示す如き
ものを予定する。階段５０は３段からなり、その高さを
ロボット１が直立した場合のイメージセンサ３６の位置
よりかなり低く設定しておいてロボット１がその付近に
接近したときに見下ろすことが可能に、即ち各段の上面
５０ａがその下の段でロボット１のイメージセンサ３６
の視界から隠されることがない様に設定すると共に、そ
の上面５０ａは白色に塗装して背景に対して十分大きな
明度を与えておく。また上面５０ａの縁部には幅の狭い
黒色テープ５２で縁取りしておく。尚、壁面５０ｂは地
のままとする。Since the gist of the present invention is to recognize a projection such as a staircase in a mobile robot that autonomously walks by obtaining information on the inside and outside worlds, description will be made below focusing on that point. In this invention, the stairs are planned as shown in FIG. The staircase 50 is composed of three steps, and its height can be set considerably lower than the position of the image sensor 36 when the robot 1 stands upright so that it can be looked down when the robot 1 approaches its vicinity, that is, each The upper surface 50a of the step is the image sensor 36 of the robot 1 at the step below it.
The upper surface 50a is painted white so as to have a sufficiently large brightness with respect to the background. Further, the edge of the upper surface 50a is edged with a narrow black tape 52. The wall surface 50b is left as it is.
【００１１】図４はその階段認識手法を示す全体ＰＡＤ
（Problem Analysis Diagram）図（構造化フロー・チャ
ート）であり、前記した画像処理ユニット３８の動作を
示すものである。同図においては先ずＳ１において白領
域の抽出を行う。図５はそのサブチャートである。FIG. 4 is an overall PAD showing the staircase recognition method.
It is a (Problem Analysis Diagram) figure (structured flow chart), and shows the operation | movement of the image processing unit 38 mentioned above. In the figure, first, in S1, a white area is extracted. FIG. 5 is its sub-chart.
【００１２】図５を参照して説明すると、先ずＳ１０に
おいて２値化処理を行う。即ち、図６に示される様な原
画像に対して階段５０の各段の上面５０ａと背景とを分
離する様にしきい値を決定し、２値化を行って図７に示
す如き画像を得る。しきい値の決定は適宜な手法で行
う。次いでＳ１２で図２に示した画像メモリにおいてス
キャンライン毎に白線部の最長部とその開始点・終了点
を求める。求めた白線部を表示すると図８に示す様な四
辺形が得られる。続いてＳ１４で求めた白線部がつなが
っているか否か調べ、つながっている部分の初めの行と
終わりの行を記憶し、その面積を求める。次いでＳ１６
で、今求めた白色部分をソートして面積が大きい順に並
べ替える。これは図３に示す様に階段５０を視たとき下
の段は上の段に比べて面積が大きくなる筈であるため、
それを利用して後で述べる三角測量での対応づけに備え
るためである。続いてＳ１８で所定の面積未満の部分は
削除してノイズＡ，Ｂ（図８に示す）を抹消する。続い
てＳ２０で残った白色部の上下端を求める。Explaining with reference to FIG. 5, first, a binarization process is performed in S10. That is, with respect to the original image as shown in FIG. 6, a threshold value is determined so as to separate the upper surface 50a of each step of the stairs 50 from the background, and binarization is performed to obtain an image as shown in FIG. .. The threshold is determined by an appropriate method. Next, in S12, the longest part of the white line part and its start point / end point are obtained for each scan line in the image memory shown in FIG. When the obtained white line portion is displayed, a quadrangle as shown in FIG. 8 is obtained. Then, it is checked whether or not the white line portion obtained in S14 is connected, the first line and the last line of the connected portion are stored, and the area is obtained. Then S16
Then, sort the white parts just obtained and sort them in descending order of area. This is because when you look at the stairs 50 as shown in FIG. 3, the lower step should have a larger area than the upper step,
This is to prepare for the correspondence in triangulation described later by using this. Subsequently, in step S18, a portion smaller than a predetermined area is deleted and noises A and B (shown in FIG. 8) are deleted. Then, in S20, the upper and lower ends of the remaining white part are obtained.
【００１３】図４のＰＡＤ図に戻ると、続いてＳ２で四
辺形の種類を判別し、Ｓ３でその端点を抽出する。尚、
ここで「端点」は、四辺形の角部の位置を意味するもの
として使用する。Returning to the PAD diagram of FIG. 4, subsequently, the type of the quadrilateral is discriminated in S2, and its end points are extracted in S3. still,
Here, the “end point” is used to mean the position of the corner of the quadrangle.
【００１４】図９はそのサブチャートであり、先ずＳ１
００で消失部分を探索する。即ち、イメージセンサ３６
を脚式のロボットに装着したことから、ロボットの姿勢
によっては図１０に示す様に傾いて写る場合があり、そ
のときは図１１に示す如く各段が干渉することがあるた
め、白領域部分の始まりの行の白線部に接している上の
行の部分に白い部分がないかどうか調べ、あれば図１２
に示す様にその部分を下の白領域に追加する。更に、そ
の上の行に下の白線部につながる白線部がないか否か調
べ、存在すれば白領域に追加し、存在しなければ探索を
打ち切ってその行を新たな白領域の始まりの行とする。
また終わりの部分についても白領域の終わりの行の白線
部に接している下の行の部分に白い部分がないかどうか
調べ、あればその部分を上の白領域へと追加する。更
に、その下の行に上の白線部につながる白線部がないか
どうか調べ、存在すれば白領域に追加しつつ探索を続
け、存在しなければ探索を打ち切ってその行を新たな白
領域の終わりの行とする。FIG. 9 is a sub-chart thereof. First, S1
At 00, the lost portion is searched. That is, the image sensor 36
Since it is attached to a legged robot, the image may be tilted as shown in FIG. 10 depending on the posture of the robot. In that case, as shown in FIG. 11, steps may interfere with each other. Check if there is a white part in the upper part of the line that is in contact with the white line part of the beginning line.
Add the part to the lower white area as shown in. Furthermore, it is checked whether there is a white line part connected to the lower white line part in the line above it, if it exists, it is added to the white area, and if it does not exist, the search is aborted and the line is the start of a new white area. And
Also for the end part, it is checked whether or not there is a white part in the part of the lower row which is in contact with the white line part of the end line of the white area, and if there is, the part is added to the upper white area. In addition, the line below it is checked to see if there is a white line connected to the white line above.If it exists, the search is continued while adding it to the white area. The last line.
【００１５】続いてＳ１０２に進み、白線部の開始点・
終了点からｘの最大・最小値などが得られる点を求め、
Ｓ１０４で求めた点の間の距離を計算し、Ｓ１０６でそ
の距離から各点の相互関係を求める。即ち、それまでの
作業で登録された２次元的に連続した白領域について、
その領域の始まりと終わりの行と、白領域の乗っている
各行の白線の始まりと終わりとを使用して以下に示す値
を計算する。尚、図２の画面において一番上の線上で右
方向が＋の直線をｘ軸とし、画面の左端の上から下方向
へと延びる直線をｙ軸とする。この様にx,y 軸を決めた
とき、１つの白領域に含まれる各白線の始まりと終わ
り、及び白線部の始まりと終わりの行のx,y 座標に関し
てx, y, x ＋y, x−y の最大、最小を与える座標を求め
る。ここで求まったx, y, x ＋y, x−y の最大・最小値
を与える位置・座標を次の様におく。 ｘの最大値のｘｙ座標 ：max x ＝(max xx, max xy) ｘの最小値のｘｙ座標 ：mix x ＝(min xx, min xy) ｙの最大値のｘｙ座標 ：max y ＝(max yx, max yy) ｙの最小値のｘｙ座標 ：min y ＝(min yx, min yy)) ｘ＋ｙの最大値のｘｙ座標：max x ＋y ＝(max xpyx,max xpyy) ｘ＋ｙの最小値のｘｙ座標：min x ＋y ＝(min xpyx,min xpyy) ｘ−ｙの最大値のｘｙ座標：max x −y ＝(max xmyx,max xmyy) ｘ−ｙの最小値のｘｙ座標：min x −y ＝(min xmyx,min xmyy) 上記を図１３に示す。Next, in S102, the start point of the white line
Find the point that gives the maximum and minimum values of x from the end point,
The distance between the points obtained in S104 is calculated, and the mutual relation of each point is obtained from the distance in S106. That is, regarding the two-dimensionally continuous white area registered in the work up to that point,
The following values are calculated using the start and end lines of the area and the start and end of the white line of each row in the white area. In the screen of FIG. 2, a straight line to the right of + on the top line is the x-axis, and a straight line extending downward from the left end of the screen is the y-axis. When the x, y axes are determined in this way, the x and y coordinates of the start and end of each white line and the start and end lines of the white line part included in one white area are x, y, x + y, x- Find the coordinates that give the maximum and minimum of y. The positions and coordinates that give the maximum and minimum values of x, y, x + y, and x-y obtained here are set as follows. xy coordinate of maximum value of x: max x = (max xx, max xy) xy coordinate of minimum value of x: mix x = (min xx, min xy) xy coordinate of maximum value of y: max y = (max yx , max yy) xy coordinate of the minimum value of y: min y = (min yx, min yy)) xy coordinate of the maximum value of x + y: max x + y = (max xpyx, max xpyy) xy coordinate of the minimum value of x + y: min x + y = (min xpyx, min xpyy) xy coordinate of maximum value of xy: max x−y = (max xmyx, max xmyy) xy coordinate of minimum value of xy: min x−y = (min xmyx, min xmyy) The above is shown in FIG.
【００１６】上で求めた８つの特徴点から更に次の８つ
の特徴量を算出する。 Top Right ＝(min yx − max xmyx)2 ＋(min yy − max xmyy)2 Top Left ＝(min yx − min xpyx)2 ＋(min yy − min xpyy)2 Bottom Right＝(max yx − max xpyx)2 ＋(max yy − max xpyy)2 Bottom Left ＝(max yx − min xmyx)2 ＋(max yy − min xmyy)2 Max Up ＝(max xx − max xmyx)2 ＋(max xy − max xmyy)2 Max Down ＝(max xx − max xpyx)2 ＋(max xy − max xpyy)2 Min Up ＝(min xx − min xpyx)2 ＋(min xy − min xpyy)2 Min Down ＝(min xx − min xmyx)2 ＋(min xy − min xmyy)2 上記においてmax, min, up, downはｘ軸に関して、top,
bottom, left, rightはｙ軸に関して定義しているが、
上で定義した８つの特徴量は、その前に定義したx, y,
x ＋y, x−y の最大・最小値を与える位置座標間の距離
を示している。これらは、それぞれ、画像上での方向ベ
クトルが４つの象限において（１，０），（０，１），
（１，１），（１，−１）の直線群と階段の各段の上面
５０ａから求まった四辺形の接点となっている。この接
点間の距離はいろいろな値をとるが、０に近い値、即ち
２つの接点が非常に近いか同じ場合は、図１４から図２
３の様に、その一致する接点における２辺の方向がある
角度内に収まることを示している。画像の縦横比が１対
１の場合、その２辺のなす角度は１３５度未満となる。
図１４から図２３で、２つの直線が交わる点において四
辺形の接している側に描かれた円弧は、各特徴量、例え
ば図１４の場合はTop Right が０の値をとるときに２つ
の辺が存在する範囲を示している。この関係から図１４
から図２３の場合を組み合わせることで、２辺のなす角
度がより狭い場合も見つけることができる。例えば、To
p Right ＝０かつTop Left＝０の図２２の場合、２辺の
存在する範囲は接点の下側の９０度以内となる。後述の
如く、さらに狭い角度を探索する場合は、８つの特徴量
だけでなく、新たな組み合わせをx, y, x ＋y, x−y の
最大・最小値を与える位置座標から選び出せば良い。The following eight feature quantities are calculated from the eight feature points obtained above. Top Right = (min yx − max xmyx)2 + (min yy − max xmyy)2 Top Left = (min yx − min xpyx)2 + (min yy − min xpyy)2 Bottom Right = (max yx − max xpyx)2 + (max yy − max xpyy)2 Bottom Left = (max yx − min xmyx)2 + (max yy − min xmyy)2 Max Up = (max xx − max xmyx)2 + (max xy − max xmyy)2 Max Down = (max xx − max xpyx)2 ＋ (max xy − max xpyy)2 Min Up ＝ (min xx − min xpyx)2 ＋ (min xy − min xpyy)2 Min Down ＝ (min xx − min xmyx)2 + (min xy − min xmyy)2 In the above, max, min, up, down are the top,
Although bottom, left and right are defined with respect to the y-axis,
The 8 features defined above are the x, y, and
It shows the distance between position coordinates that give the maximum and minimum values of x + y and x−y. These are (1,0), (0,1), in the quadrant where the direction vector on the image is four, respectively.
It is a quadrilateral contact point obtained from the straight lines (1,1) and (1, -1) and the upper surface 50a of each step of the stairs. The distance between the contacts has various values, but if the value is close to 0, that is, if the two contacts are very close or the same,
3 shows that the directions of the two sides of the coincident contact point are within a certain angle. When the aspect ratio of the image is 1: 1, the angle formed by the two sides is less than 135 degrees.
In FIGS. 14 to 23, the arcs drawn on the sides of the quadrangle that are in contact with each other at the points where the two straight lines intersect are the two feature values, for example, in the case of FIG. The range in which the edges exist is shown. From this relationship,
Therefore, by combining the cases of FIG. 23, it is possible to find the case where the angle formed by the two sides is narrower. For example, To
In the case of FIG. 22 where p Right = 0 and Top Left = 0, the range in which the two sides exist is within 90 degrees below the contact. As will be described later, when searching for a narrower angle, not only the eight feature quantities, but a new combination may be selected from the position coordinates that give the maximum and minimum values of x, y, x + y, and x−y.
【００１７】続いてＳ１０８において各点の相互関係か
ら四辺形が台形であるかひし形であるかなどを判別す
る。具体的に説明すると、図１に示すロボット１が階段
５０を見下ろした場合に、得られた四辺形は以下の様な
ルールで分類することができるので、それに従って判別
する。尚、この作業は、後述する端点の抽出などのため
に、求めた四辺形がどの様な形であるのか特定しておい
てその作業を容易にするものである。 （ａ）台形（図２４） Min Down＜δ かつMax Down＜δ かつ(Bottom Left＜
δ またはBottom Right＜δ) 、または｜min xpyy−ma
x xmyy｜＜ε かつ｜min xmyy−max xpyy｜＜εならば
台形。尚、δ, εは正の比較的小さい整数とする。 （ｂ) 左下右上鋭角四辺形（図２５） 上の（ａ）の条件を満たさず、Max Up＜δ かつTop Ri
ght ＜δ かつMin Down＜δ かつBottom Left ＜δな
らば、左下右上鋭角四辺形。 （ｃ）左上右下鋭角（図２６） （ａ）（ｂ）の条件を満たさず、Min Up＜δ かつTop
Left＜δ かつBottomRight ＜δ かつMax Down＜δな
らば、左上右下鋭角四辺形。 （ｄ）右鋭角（図２７）または左鋭角（図２８） （ａ）（ｂ）（ｃ）の条件を満たさず、Min Up＜δ か
つMin Down＜δ、またはMax Up＜δ かつMax Down＜δ
ならば、右鋭角四辺形または左鋭角四辺形。 （ｅ）その他 （ａ）（ｂ）（ｃ）（ｄ）の条件を満たさない場合、右
傾斜四辺形または左傾斜四辺形。Subsequently, in S108, it is determined whether the quadrangle is a trapezoid or a rhombus from the mutual relation of each point. To be more specific, when the robot 1 shown in FIG. 1 looks down on the stairs 50, the obtained quadrilaterals can be classified according to the following rules, and thus the quadrilaterals are determined. It should be noted that this work is intended to identify the shape of the obtained quadrilateral and to facilitate the work in order to extract end points to be described later. (A) Trapezoid (Fig. 24) Min Down <δ and Max Down <δ and (Bottom Left <
δ or Bottom Right <δ), or | min xpyy−ma
If x xmyy | <ε and | min xmyy−max xpyy | <ε, it is a trapezoid. Δ and ε are positive and relatively small integers. (B) Lower left upper right acute quadrilateral (Fig. 25) The condition of (a) above is not satisfied, and Max Up <δ and Top Ri
If ght <δ and Min Down <δ and Bottom Left <δ, then it is a lower left upper right acute quadrilateral. (C) Upper left lower right acute angle (Fig. 26) The conditions of (a) and (b) are not satisfied, and Min Up <δ and Top
If Left <δ and BottomRight <δ and Max Down <δ, it is an upper left, lower right acute-angled quadrilateral. (D) Right acute angle (FIG. 27) or left acute angle (FIG. 28) (a), (b), and (c) are not satisfied, and Min Up <δ and Min Down <δ, or Max Up <δ and Max Down < δ
Then, a right-angled quadrilateral or a left-angled quadrilateral. (E) Others If the conditions of (a), (b), (c), and (d) are not satisfied, a right-angled quadrilateral or a left-angled quadrilateral.
【００１８】続いてＳ１１０で四辺形の端点を抽出す
る。ここで端点の位置に対して図２９の様に座標を決め
るとすると、判別した四辺形の種類に対して各端点の位
置は次の様に決定することができる。 （ａ）台形（図２４）の場合 (trx,try) ＝ (max xmyx, max xmyy) (tlx,tly) ＝ (min xpyx, min xpyy) (brx,bry) ＝ (max xpyx, max xpyy) (blx,bly) ＝ (min xmyx, min xmyy) （ｂ）左下右上鋭角（図２５）の場合 (trx,try) ＝ (max xmyx, max xmyy) (tlx,tly) ＝ (min xpyx, min xpyy) (brx,bry) ＝ (max xpyx, max xpyy) (blx,bly) ＝ (min xmyx, min xmyy) （ｃ）左上右下鋭角（図２６）の場合 (trx,try) ＝ (max xmyx, max xmyy) (tlx,tly) ＝ (min xpyx, min xpyy) (brx,bry) ＝ (max xpyx, max xpyy) (blx,bly) ＝ (min xmyx, min xmyy) （ｄ）右鋭角（図２７）または左鋭角（図２８）の場合 先ず右上がりか左上がりかのチェックを行う。即ち、あ
る白領域の始まりの行番号をStとし、行i の白線の始ま
りをMin ［i ］、終わりをMax ［i ］とするとき、 Max ［St＋α］−Max ［St］＜ Min［St］− Min［St＋
α］ が成り立てば右上がり、そうでなければ左上がりとなる
( 尚、αは適宜設定する正の整数) 。 右上がりならば (trx,try) ＝ (min yx, min yy) (tlx,tly) ＝ (min xx, min xy) (brx,bry) ＝ (max xx, max yy) (blx,bly) ＝ (max yx, max yy) 左上がりならば (trx,try) ＝ (max xx, max xy) (tlx,tly) ＝ (min yx, min yy) (brx,bry) ＝ (max yx, max yy) (blx,bly) ＝ (min xx, min xy) （ｅ）その他（右傾斜（図３０）、左傾斜（図３１）） 同様のチェックを行った後、右上がりならば (trx,try) ＝ (min yx, min yy) (tlx,tly) ＝ (min xx, min xy) (brx,bry) ＝ (max xx, max xy) (blx,bly) ＝ (max yx, max yy) であるが、 Min Down＜δ またはBottom Left ＜δ またはTop Right ＜δ かつBottom Left ＜δ かつMa
x Down＜δならば (tlx,tly) ＝ (min xpyx, min xpyy) とする。また始まりの行の白線部の長さがある程度の長
さ( 例えば１０ドット）以上ある場合は (trx,try) ＝ (max xmyx, max xmyy) (tlx,tly) ＝ (min xpyx, min xpyy) とし、終わりの行の白線部の長さがある程度の長さ( 例
えば１０ドット）以上ある場合は (brx,bry) ＝ (max xpyx, max xpyy) (blx,bly) ＝ (min xmyx, min xmyy) とする。 左下がりの場合 (trx,try) ＝ (max xx, max xy) (tlx,tly) ＝ (min yx, min yy) (brx,bry) ＝ (max yx, max yy) (blx,bly) ＝ (min xx, min xy) であるが、 Max Down＜δ またはBottom Right＜δ またはTop Left＜δ かつBottom Right＜δ かつMin
Down＜δならば (trx,try) ＝ (max xmyx, max xmyy) とする。また始まりの行の白線部の長さがある程度の長
さ（例えば１０ドット）以上ある場合は (trx,try) ＝ (max xmyx, max xmyy) (tlx,tly) ＝ (min xpyx, min xpyy) とし、終わりの行の白線部の長さがある程度の長さ（例
えば１０ドット）以上ある場合は (brx,bry) ＝ (max xpyx, max xpyy) (blx,bly) ＝ (min xmyx, min xmyy) とする。Then, in S110, the endpoints of the quadrangle are extracted. If the coordinates are determined with respect to the positions of the end points as shown in FIG. 29, the positions of the respective end points can be determined as follows for the determined quadrilateral type. (A) Trapezoid (Fig. 24) (trx, try) = (max xmyx, max xmyy) (tlx, tly) = (min xpyx, min xpyy) (brx, bry) = (max xpyx, max xpyy) ( blx, bly) = (min xmyx, min xmyy) (b) For lower left upper right corner (Fig. 25) (trx, try) = (max xmyx, max xmyy) (tlx, tly) = (min xpyx, min xpyy) (brx, bry) = (max xpyx, max xpyy) (blx, bly) = (min xmyx, min xmyy) (c) In the case of acute upper left lower right corner (Fig. 26) (trx, try) = (max xmyx, max xmyy) (tlx, tly) = (min xpyx, min xpyy) (brx, bry) = (max xpyx, max xpyy) (blx, bly) = (min xmyx, min xmyy) (d) Right acute angle (Fig. 27) Alternatively, in the case of an acute left angle (Fig. 28), first check whether it is rising to the right or rising to the left. That is, if the line number of the start of a certain white area is St, the start of the white line of line i is Min [i] and the end is Max [i], then Max [St + α] -Max [St] <Min [St] − Min [St +
If [α] holds, it goes up to the right, otherwise it goes up to the left.
(Note that α is a positive integer set appropriately). If it is rising to the right (trx, try) ＝ (min yx, min yy) (tlx, tly) ＝ (min xx, min xy) (brx, bry) ＝ (max xx, max yy) (blx, bly) ＝ ( max yx, max yy) If rising to the left (trx, try) ＝ (max xx, max xy) (tlx, tly) ＝ (min yx, min yy) (brx, bry) ＝ (max yx, max yy) ( blx, bly) = (min xx, min xy) (e) Others (right tilt (Fig. 30), left tilt (Fig. 31)) After performing the same check, if it goes up to the right (trx, try) = ( min yx, min yy) (tlx, tly) = (min xx, min xy) (brx, bry) = (max xx, max xy) (blx, bly) = (max yx, max yy), but Min Down <δ or Bottom Left <δ or Top Right <δ and Bottom Left <δ and Ma
If x Down <δ, then (tlx, tly) = (min xpyx, min xpyy). If the length of the white line part of the beginning line is more than a certain length (eg 10 dots), (trx, try) = (max xmyx, max xmyy) (tlx, tly) = (min xpyx, min xpyy) If the length of the white line on the last line is more than a certain length (eg 10 dots), (brx, bry) = (max xpyx, max xpyy) (blx, bly) = (min xmyx, min xmyy ). When falling to the left (trx, try) = (max xx, max xy) (tlx, tly) = (min yx, min yy) (brx, bry) = (max yx, max yy) (blx, bly) = ( min xx, min xy), but Max Down <δ or Bottom Right <δ or Top Left <δ and Bottom Right <δ and Min
If Down <δ, set (trx, try) = (max xmyx, max xmyy). If the length of the white line part of the beginning line is more than a certain length (eg 10 dots) (trx, try) = (max xmyx, max xmyy) (tlx, tly) = (min xpyx, min xpyy) If the length of the white line part of the last line is more than a certain length (eg 10 dots), (brx, bry) = (max xpyx, max xpyy) (blx, bly) = (min xmyx, min xmyy ).
【００１９】再び図３の全体ＰＡＤ図に戻ると、続いて
Ｓ４で得られた四辺形について各段の平行度をチェック
する。即ち、各段の図形のmax x(min x) を連続させて
得られる下線( 上線) を比較して相互に所定値以上平行
であるか否か判断する。各段は本来的には平行であるの
で、平行ではない段はデータから削除する。これによっ
てノイズが混入して得た図形が不適当なものか否か判断
することができる。Returning to the overall PAD diagram of FIG. 3 again, the parallelism of each stage is checked for the quadrilateral obtained in S4. That is, the underlines (upper lines) obtained by continuing max x (min x) of the figures in each stage are compared to determine whether they are parallel to each other by a predetermined value or more. Since the columns are originally parallel, the columns that are not parallel are deleted from the data. This makes it possible to determine whether the figure obtained by mixing noise is inappropriate.
【００２０】以上の処理を２個のイメージセンサ３６が
出力する図形についてそれぞれ行って図３２に示す様な
左右の図形を得た後、Ｓ５で左右で対応する四辺形を決
定する。即ち、先ず左右のすべての四辺形について先に
求めた端点の重心位置を求め、その重心のＹ座標でソー
ト（並べ替え）する。次いで、ソートした順番に左右の
各四辺形を対応づける。その際、対応すると思われる四
辺形の重心のＹ座標が所定の値以下に接近している様に
選ぶ。尚、対応する四辺形が存在しないときはノイズな
どで得られなかったものと見做し、その四辺形を後で述
べる立体視の三角測量で使用しない（前回検出した図形
を使用しても良い）。The above processing is performed for each of the figures output by the two image sensors 36 to obtain the left and right figures as shown in FIG. 32, and then the corresponding quadrangle is determined in S5. That is, first, the barycentric position of the end point previously found for all the left and right quadrilaterals is found and sorted (sorted) by the Y coordinate of the barycenter. Then, the left and right quadrilaterals are associated with each other in the sorted order. At this time, the Y-coordinate of the center of gravity of the quadrangle, which is considered to correspond, is selected so that it is close to a predetermined value or less. When the corresponding quadrilateral does not exist, it is considered that it was not obtained due to noise, and the quadrilateral is not used in stereoscopic triangulation described later (the previously detected figure may be used. ).
【００２１】続いてＳ６に進んで対応すると判断された
左右の四辺形の４つの端点のＹ座標をそれぞれ比較し、
その距離が所定の値未満の範囲にあるか否か判断し、肯
定された組の端点に対して三角測量を行う。尚、距離が
所定の値以上に離れたものは誤測定防止のために対応し
た端点と見做さず、測量で使用しない。また各端点には
図３２に示す様に、左手前側から時計回りに番号を付し
ておき、対応づけを容易にする。図３３に三角測量法を
示す。この手法自体は公知なものであって、三角形の相
似を使用して目標点（端点）Ｌのｘ，ｙ座標を求める。
カメラ間距離２ｄ、焦点距離ｆを既知として視差Ｘｌ，
Ｘｒを得、それから目標座標を (x,y)＝(d(Xl ＋Xr)/(Xl−Xr), 2fd/(Xl−Xr)) で求めることができる。尚、この式は左右のレンズの光
軸が平行な場合に限られ、通例は輻輳などから適宜な補
正が必要となるが、三角測量自体はこの発明の要旨とす
るところではないので、詳細な説明は省略する。Then, the procedure proceeds to S6, in which the Y coordinates of the four end points of the left and right quadrilaterals determined to correspond are compared,
It is determined whether or not the distance is within a predetermined range, and triangulation is performed on the end points of the affirmed set. If the distance is more than a predetermined value, it is not regarded as a corresponding end point to prevent erroneous measurement and is not used for surveying. Further, as shown in FIG. 32, each end point is numbered clockwise from the left front side to facilitate the correspondence. FIG. 33 shows the triangulation method. This method itself is known, and the x and y coordinates of the target point (end point) L are obtained by using the similarity of triangles.
With the distance between cameras 2d and the focal length f being known, parallax Xl,
Xr can be obtained, and then the target coordinates can be determined by (x, y) = (d (Xl + Xr) / (Xl−Xr), 2fd / (Xl−Xr)). Incidentally, this formula is limited to the case where the optical axes of the left and right lenses are parallel to each other, and it is usually necessary to make an appropriate correction due to congestion etc. However, since triangulation itself is not the gist of the present invention, The description is omitted.
【００２２】続いてＳ７に進んで得られた位置座標を所
望の位置座標に変換して終わる。Subsequently, the process proceeds to S7, where the obtained position coordinates are converted into desired position coordinates and the process ends.
【００２３】この実施例は上記の如く構成したので、階
段を速やかに認識してその位置座標を得ることができ
る。その際に階段の特性を利用して立体視の左右画像の
対応点を求める様にしたので、簡易で専用のハードウェ
アも必要としない手法でありながら、容易かつ迅速に階
段の位置情報を得ることができる。ロボットは階段を視
野に入れさえすれば、階段の正確な３次元位置情報を随
時算出することができ、予め作られた地図情報などの正
確な位置情報を必要としない。この性質より、工場、事
務所などでロボットに階段を含む移動経路をおおまかに
指示するのみで、その階段を発見し昇降することが可能
となる。尚、ロボットの移動環境をこの様に工場、事務
所などに限定するとき、階段の上面の明度を背景より大
きくしておくことはさして面倒なことではない。尚、塗
装に代えて照明を用いても良い。Since this embodiment is configured as described above, it is possible to quickly recognize the stairs and obtain the position coordinates thereof. At that time, the characteristic of the stairs is used to find the corresponding points of the left and right stereoscopic images, so the position information of the stairs can be obtained easily and quickly even though the method is simple and does not require dedicated hardware. be able to. The robot can calculate accurate three-dimensional position information of the stairs at any time as long as the stairs are included in the field of view, and does not require accurate position information such as pre-made map information. Due to this property, it is possible to discover the stairs and move up and down by roughly instructing the robot about the moving route including the stairs at the factory, office, or the like. When limiting the moving environment of the robot to a factory, an office, etc., it is not so troublesome to make the brightness of the upper surface of the stairs higher than the background. Note that lighting may be used instead of painting.
【００２４】また上記した実施例においてはTop Right
など８つの特徴量を用いたが、更に特徴量を増加させる
ことによって５辺形以上の形状を識別することも可能で
ある。その意味で、階段を例にとったが、それに限られ
るものではなく、多面体のすべてに応用可能なものであ
る。In the above embodiment, Top Right
Although eight feature amounts are used, it is also possible to identify a shape of a pentagon or more by further increasing the feature amount. In that sense, the stairs are taken as an example, but the present invention is not limited to this, and is applicable to all polyhedra.
【００２５】また図４のＳ４で述べて平行度チェックに
関しても、三角測量によって算出された各四辺形の端点
を含む面を考え、その面が床面と平行でなければ登録か
ら削除する様にしても良い。また平行な四辺形が複数あ
った場合には、それらの四辺形が階段の段であると見做
し、ロボット１に傾斜センサを装着することなく、各四
辺形の作る面の方向を元にロボット１の傾斜度を算出し
ても良い。Also regarding the parallelism check described in S4 of FIG. 4, consider a surface including the endpoints of each quadrilateral calculated by triangulation, and if the surface is not parallel to the floor surface, delete it from registration. May be. If there are multiple parallelograms, those rectangles are considered to be the steps of the stairs, and the robot 1 does not need to be equipped with an inclination sensor and is based on the direction of the surface created by each rectangle. The inclination of the robot 1 may be calculated.
【００２６】更には、実施例として２足歩行の脚式移動
ロボットを例にとって説明したが、この発明は車輪型、
クローラ型などのロボットにも妥当すると共に、更には
ロボットではない無人走行車などにも応用可能なもので
ある。Further, although a bipedal legged mobile robot has been described as an example, the present invention is a wheel type,
Not only is it applicable to crawler type robots, but it is also applicable to unmanned vehicles that are not robots.
【００２７】[0027]
【発明の効果】請求項１項は、１つまたは複数の視覚セ
ンサを有し、それから得られる情報を参考にして移動制
御を行い移動する移動体において、前記視覚センサから
得られる画像に対する所定の２値化処理により、各面内
の殆どの画素がそれらの面を区分する境界領域内及び背
景内の画素とは異なる出力値を持つような多面体を含む
外界について前記２値化処理を施して２値画像を得、２
値のいずれかについて画像における面積を求め、及び求
めた面積に基づいて多面体を認識することからなる如く
構成したので、簡易な構成であって専用のハードウェア
などを必要とせずに多面体を認識することができる。According to the first aspect of the present invention, in a moving body having one or a plurality of visual sensors and performing movement control with reference to information obtained from the visual sensors, a predetermined object for an image obtained from the visual sensors is determined. By the binarization process, the binarization process is performed on the external world including a polyhedron in which most of the pixels in each surface have different output values from the pixels in the boundary area and the background that divide the surfaces. Get a binary image, 2
Since it is configured to calculate the area in the image for any of the values and recognize the polyhedron based on the calculated area, it is a simple structure and recognizes the polyhedron without requiring dedicated hardware. be able to.
【００２８】請求項２項は、１つまたは複数の視覚セン
サを有し、それから得られる情報を参考にして移動制御
を行い移動する移動体において、前記視覚センサから得
られる画像に対する所定の２値化処理により、各段の殆
どの画素がそれらの面を区分する境界領域内及び背景内
の画素とは異なる出力値を持つような階段を含む外界に
ついて前記２値化処理を施して２値画像を得、２値画像
について座標軸においてｘ方向とｙ方向とから走査し、
幾何学的な特徴を抽出して所定の部位を求め、及び求め
た所定の部位から階段の３次元位置を算出することから
なる如く構成したので、簡易な構成であって専用のハー
ドウェアなどを必要とせず、階段を視野に入れさえすれ
ば、階段の３次元位置座標を随時算出することができ、
予め作られた地図情報などの正確な位置情報を必要とし
ない。これによって工場、事務所などで移動体に階段を
含む移動経路を大まかに指示するのみで、その階段を発
見し昇降することが可能となる。According to a second aspect of the present invention, in a moving body which has one or a plurality of visual sensors and performs movement control by referring to information obtained from the visual sensors, a predetermined binary value for an image obtained from the visual sensors. By the binarization process, the binarization process is performed on the outside world including the stairs in which most of the pixels in each stage have different output values from the pixels in the boundary region that divides the faces and the pixels in the background, and the binary image is obtained. To scan the binary image from the x and y directions on the coordinate axis,
The geometrical feature is extracted to obtain a predetermined part, and the three-dimensional position of the stairs is calculated from the obtained predetermined part. Therefore, the dedicated hardware has a simple structure. It is possible to calculate the three-dimensional position coordinates of the stairs at any time as long as the stairs are included in the field of view
It does not require accurate location information such as pre-made map information. This makes it possible to discover the stairs and move up and down by roughly instructing the moving route including the stairs to the moving body at the factory, office, or the like.
【００２９】請求項３項の移動体の階段の認識方法は、
階段の各段ごとに対応点を決定して前記３次元位置を算
出する如く構成したので、一層構成を簡易にすることが
できる。A method of recognizing stairs of a moving body according to claim 3 is
Since the corresponding point is determined for each step of the stairs and the three-dimensional position is calculated, the configuration can be further simplified.
【図１】この発明に係る移動体の階段などの認識方法で
予定する移動体たる２足歩行ロボットとその制御装置を
全体的に示す概略図である。FIG. 1 is a schematic diagram generally showing a bipedal walking robot which is a moving body and a control device therefor, which is planned by a method of recognizing stairs of a moving body according to the present invention.
【図２】図１に示すイメージセンサの画像メモリの説明
図である。FIG. 2 is an explanatory diagram of an image memory of the image sensor shown in FIG.
【図３】この発明に係る方法が予定する階段を示す説明
斜視図である。FIG. 3 is an explanatory perspective view showing a stairway planned by the method according to the present invention.
【図４】図１に示す画像処理ユニットが行うこの発明に
係る方法を示すフロー・チャート（全体ＰＡＤ図）であ
る。FIG. 4 is a flow chart (overall PAD diagram) showing a method according to the present invention performed by the image processing unit shown in FIG. 1.
【図５】図４のＰＡＤ図のサブチャートで白領域の抽出
作業を示すサブＰＡＤ図である。5 is a sub-PAD diagram showing a white area extraction operation in the sub-chart of the PAD diagram of FIG. 4;
【図６】図５ＰＡＤ図の白領域の抽出作業を示す説明図
の一部で原画像を示す説明図である。FIG. 6 is an explanatory diagram showing an original image as a part of the explanatory diagram showing the white area extraction work of the PAD diagram of FIG. 5;
【図７】同様にその２値化画像を示す説明図である。FIG. 7 is an explanatory diagram showing a binarized image of the same.
【図８】同様に行ごとの最長白線の抽出作業を示す説明
図である。FIG. 8 is an explanatory diagram showing an operation of extracting the longest white line for each row in the same manner.
【図９】図４のＰＡＤ図のサブチャートで四辺形の種類
判別と端点抽出作業を示すサブＰＡＤ図である。9 is a sub-PAD diagram showing quadrilateral type discrimination and end point extraction work in the sub-chart of the PAD diagram of FIG. 4;
【図１０】図９ＰＡＤ図の中の四辺形の種類判別の中の
消失部分の探索作業を示す説明図の一部で傾いて写って
いる場合を示す説明図である。FIG. 10 is an explanatory diagram showing a case where a part of the explanatory diagram showing the work of searching for the disappearing portion in the quadrilateral type discrimination in the PAD diagram in FIG.
【図１１】同様に各段の干渉を示す説明図である。FIG. 11 is an explanatory diagram similarly showing interference at each stage.
【図１２】同様に欠落部分の追加作業を示す説明図であ
る。FIG. 12 is an explanatory diagram similarly showing a work of adding a missing portion.
【図１３】図９ＰＡＤ図の種類判別作業の中の４端点の
探索作業を示す説明図である。FIG. 13 is an explanatory diagram showing a search operation for four end points in the type determination work in the PAD diagram of FIG. 9;
【図１４】同様に種類判別作業で使用する特徴量のうち
のTop Right が零の場合を示す説明図である。FIG. 14 is an explanatory diagram showing a case where Top Right is zero among the feature amounts used in the type discrimination work in the same manner.
【図１５】同様にTop Leftが零の場合を示す説明図であ
る。FIG. 15 is an explanatory diagram similarly showing a case where Top Left is zero.
【図１６】同様にBottom Rightが零の場合を示す説明図
である。FIG. 16 is an explanatory diagram similarly showing a case where Bottom Right is zero.
【図１７】同様にBottom Left が零の場合を示す説明図
である。FIG. 17 is an explanatory diagram similarly showing a case where Bottom Left is zero.
【図１８】同様にMax Upが零の場合を示す説明図であ
る。FIG. 18 is an explanatory diagram similarly showing a case where Max Up is zero.
【図１９】同様にMax Downが零の場合を示す説明図であ
る。FIG. 19 is an explanatory diagram similarly showing a case where Max Down is zero.
【図２０】同様にMin Upが零の場合を示す説明図であ
る。FIG. 20 is an explanatory diagram similarly showing a case where Min Up is zero.
【図２１】同様にMin Downが零の場合を示す説明図であ
る。FIG. 21 is an explanatory diagram similarly showing a case where Min Down is zero.
【図２２】同様にTop Right とTop Leftが共に零の場合
を示す説明図である。FIG. 22 is an explanatory diagram similarly showing a case where Top Right and Top Left are both zero.
【図２３】同様にTop LeftとMin Upが共に零の場合を示
す説明図である。FIG. 23 is an explanatory diagram similarly showing a case where Top Left and Min Up are both zero.
【図２４】同様に台形を示す説明図である。FIG. 24 is an explanatory view similarly showing a trapezoid.
【図２５】同様に左下右上鋭角を示す説明図である。FIG. 25 is an explanatory diagram showing a left lower right upper acute angle similarly.
【図２６】同様に左上右下鋭角を示す説明図である。FIG. 26 is an explanatory diagram showing an upper left lower right acute angle similarly.
【図２７】同様に右鋭角を示す説明図である。FIG. 27 is an explanatory diagram showing a right acute angle similarly.
【図２８】同様に左鋭角を示す説明図である。FIG. 28 is an explanatory diagram showing a left acute angle similarly.
【図２９】図９ＰＡＤ図の端点抽出作業で使用する端点
の位置座標を示す説明図である。FIG. 29 is an explanatory diagram showing the position coordinates of the end points used in the end point extraction operation of the PAD diagram of FIG. 9;
【図３０】図１４と同様に、図９ＰＡＤ図の種類判別作
業で使用する特徴量のうちの右傾斜の場合を示す説明図
である。FIG. 30 is an explanatory diagram showing a case where the feature amount used in the type discriminating operation of the PAD diagram of FIG. 9 is a right tilt, similar to FIG. 14.
【図３１】同様に左傾斜の場合を示す説明図である。FIG. 31 is an explanatory diagram similarly showing a case of left tilting.
【図３２】図４ＰＡＤ図の四辺形の対応づけ作業を示す
説明図である。FIG. 32 is an explanatory diagram showing a work of associating the quadrangle of the PAD diagram of FIG. 4;
【図３３】図４ＰＡＤ図の三角測量を示す説明図であ
る。FIG. 33 is an explanatory diagram showing triangulation of the PAD diagram of FIG. 4;
１ 脚式移動ロボット（移動体） ２４ 胴体部 ２６ 制御ユニット ３４ プレート ３６ イメージセンサ ３８ 画像処理ユニット ５０ 階段 ５０ａ階段の上面 DESCRIPTION OF SYMBOLS 1 Legged mobile robot (moving body) 24 Body 26 Control unit 34 Plate 36 Image sensor 38 Image processing unit 50 Stairs 50a Stair top surface
フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/62 ４１５ 9287−5Ｌ 15/70 ４６０ Ｅ 9071−5Ｌ // Ｇ０５Ｄ 1/02 Ｋ 7828−3ＨFront page continuation (51) Int.Cl.5 Identification code Office reference number FI Technical display location G06F 15/62 415 9287-5L 15/70 460 E 9071-5L // G05D 1/02 K 7828-3H
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05744692AJP3192736B2 (en) | 1992-02-10 | 1992-02-10 | Recognition method for stairs of moving objects |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05744692AJP3192736B2 (en) | 1992-02-10 | 1992-02-10 | Recognition method for stairs of moving objects |
| Publication Number | Publication Date |
|---|---|
| JPH05223549Atrue JPH05223549A (en) | 1993-08-31 |
| JP3192736B2 JP3192736B2 (en) | 2001-07-30 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05744692AExpired - LifetimeJP3192736B2 (en) | 1992-02-10 | 1992-02-10 | Recognition method for stairs of moving objects |
| Country | Link |
|---|---|
| JP (1) | JP3192736B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005087452A1 (en)* | 2004-03-17 | 2005-09-22 | Sony Corporation | Robot device, behavior control method for the robot device, and moving device |
| CN100339871C (en)* | 2003-09-19 | 2007-09-26 | 索尼株式会社 | Environment identification device and method, route design device and method and robot |
| JP2008246609A (en)* | 2007-03-29 | 2008-10-16 | Honda Motor Co Ltd | Legged mobile robot |
| US7653216B2 (en)* | 2003-12-23 | 2010-01-26 | Carnegie Mellon University | Polyhedron recognition system |
| JP2012177608A (en)* | 2011-02-25 | 2012-09-13 | Honda Motor Co Ltd | Step edge estimation device |
| US8289321B2 (en) | 2004-03-17 | 2012-10-16 | Sony Corporation | Method and apparatus for detecting plane, and robot apparatus having apparatus for detecting plane |
| JP2013072813A (en)* | 2011-09-28 | 2013-04-22 | Honda Motor Co Ltd | Level difference part recognition device |
| WO2025150603A1 (en)* | 2024-01-11 | 2025-07-17 | 국립부경대학교 산학협력단 | Stair-traversing robot and control method therefor |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100339871C (en)* | 2003-09-19 | 2007-09-26 | 索尼株式会社 | Environment identification device and method, route design device and method and robot |
| US7865267B2 (en) | 2003-09-19 | 2011-01-04 | Sony Corporation | Environment recognizing device, environment recognizing method, route planning device, route planning method and robot |
| US7653216B2 (en)* | 2003-12-23 | 2010-01-26 | Carnegie Mellon University | Polyhedron recognition system |
| WO2005087452A1 (en)* | 2004-03-17 | 2005-09-22 | Sony Corporation | Robot device, behavior control method for the robot device, and moving device |
| JPWO2005087452A1 (en)* | 2004-03-17 | 2008-01-24 | ソニー株式会社 | Robot device, stair ascending / descending method, and moving device |
| JP4618247B2 (en)* | 2004-03-17 | 2011-01-26 | ソニー株式会社 | Robot apparatus and operation control method thereof |
| US8289321B2 (en) | 2004-03-17 | 2012-10-16 | Sony Corporation | Method and apparatus for detecting plane, and robot apparatus having apparatus for detecting plane |
| JP2008246609A (en)* | 2007-03-29 | 2008-10-16 | Honda Motor Co Ltd | Legged mobile robot |
| KR100981698B1 (en)* | 2007-03-29 | 2010-09-10 | 고쿠리츠다이가쿠호진 토쿄고교 다이가꾸 | Legged mobile robot |
| JP2012177608A (en)* | 2011-02-25 | 2012-09-13 | Honda Motor Co Ltd | Step edge estimation device |
| JP2013072813A (en)* | 2011-09-28 | 2013-04-22 | Honda Motor Co Ltd | Level difference part recognition device |
| WO2025150603A1 (en)* | 2024-01-11 | 2025-07-17 | 국립부경대학교 산학협력단 | Stair-traversing robot and control method therefor |
| Publication number | Publication date |
|---|---|
| JP3192736B2 (en) | 2001-07-30 |
| Publication | Publication Date | Title |
|---|---|---|
| Gutmann et al. | Stair climbing for humanoid robots using stereo vision | |
| JP6211734B1 (en) | Combination of stereo processing and structured light processing | |
| US7132933B2 (en) | Obstacle detection device and method therefor | |
| US4933864A (en) | Mobile robot navigation employing ceiling light fixtures | |
| CN111609801B (en) | A method and system for measuring the thickness of multi-size workpieces based on machine vision | |
| JP4958279B2 (en) | Object detection device | |
| JP4511919B2 (en) | Polyhedron recognition device | |
| Okutomi et al. | Robust estimation of planar regions for visual navigation using sequential stereo images | |
| JP3192736B2 (en) | Recognition method for stairs of moving objects | |
| JP2009136987A (en) | Mobile robot and floor surface shape data correction method | |
| WO2017188158A1 (en) | Device for detecting road surface state | |
| JP2001076128A (en) | Obstacle detection apparatus and method | |
| Gutmann et al. | A modular architecture for humanoid robot navigation | |
| JP3352535B2 (en) | 3D object data acquisition device | |
| JP2009042147A (en) | Object recognition apparatus and object recognition method | |
| Roh et al. | Obstacle detection and self-localization without camera calibration using projective invariants | |
| Han et al. | Navigation control for a mobile robot | |
| Adorni et al. | A non-traditional omnidirectional vision system with stereo capabilities for autonomous robots | |
| Abdelhamid et al. | Extracting depth information using a correlation matching algorithm | |
| JPH061162B2 (en) | Visual device | |
| JP2001266129A (en) | Navigation control device and navigation control method based on image of navigation object | |
| JP2003200378A (en) | Robot, shape recognition method, shape recognition program, and computer-readable recording medium storing shape recognition program | |
| CN219126188U (en) | High-matching-degree sweeping robot | |
| JP7657689B2 (en) | Processing system, control system, moving body, photographing position determining method, and photographing position determining program | |
| JPH06226668A (en) | Article position detecting device |
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20010417 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20080525 Year of fee payment:7 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20090525 Year of fee payment:8 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20090525 Year of fee payment:8 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100525 Year of fee payment:9 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110525 Year of fee payment:10 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110525 Year of fee payment:10 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120525 Year of fee payment:11 | |
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120525 Year of fee payment:11 |