【発明の詳細な説明】 ［発明が属する技術分野］ 本発明は、コンピュータ化された郵便物仕分けに関
し、具体的には、小包のディジタル化された画像上で荷
札を識別し、突き止めるための画像処理の方法および装
置に関する。Description: FIELD OF THE INVENTION The present invention relates to computerized mail sorting, and more particularly to an image for identifying and locating a tag on a digitized image of a parcel. The present invention relates to a processing method and apparatus.
［従来の技術］ 小包の量がますます増加しているので、小包仕分けの
自動化は、全世界の郵便局および運輸業全般にとって非
常に重要になりつつある。BACKGROUND OF THE INVENTION With the ever-increasing amount of parcels, the automation of parcel sorting is becoming very important for the post office and the transportation industry in general worldwide.
一般に、小包仕分けを自動化するためには、小包のデ
ィジタル画像を取り込み、宛先住所などの経路指定情報
を画像から抽出する必要がある。この経路指定情報は、
その後、適当な装置によって使用して、小包を適宜仕分
けしたり、仕分け処理で後程使用するために小包に印刷
されるバーコードなどの生成に使用することができる。Generally, in order to automate parcel sorting, it is necessary to capture a digital image of a parcel and extract routing information such as a destination address from the image. This routing information
The parcels can then be used by an appropriate device to sort the parcels as appropriate or used to generate barcodes or the like to be printed on the parcels for later use in the sorting process.
しかし、荷札は、小包のどこにでも貼ることができ、
したがって、小包のディジタル画像のどこにでも現れる
可能性がある。一般には、光学式文字読取装置（OCR）
技術を使用して、荷札のかなり高解像度の画像から経路
指定情報を抽出する。この技術を有効に活用し、小包の
画像全体を処理しないようにするためには、小包の画像
の上で荷札の位置を突き止める必要がある。これが達成
されたならば、画像の荷札に対応する部分だけを処理す
ればよい。However, the tag can be placed anywhere on the package,
Thus, it can appear anywhere on the digital image of the parcel. Generally, an optical character reader (OCR)
Techniques are used to extract routing information from fairly high-resolution images of tags. In order to effectively utilize this technique and not process the entire parcel image, it is necessary to locate the tag on the parcel image. Once this has been achieved, only the portion of the image corresponding to the tag need be processed.
［発明が解決しようとする課題］ 本発明の目的は、小包の画像内で宛先荷札の位置を突
き止めるための画像処理装置を提供することである。[Problem to be Solved by the Invention] An object of the present invention is to provide an image processing apparatus for locating a destination tag in an image of a parcel.
このような荷札検出を実行するためには、２種類の問
題を解決しなければならない。第１に、要求速度の達成
は非常に困難である。現在使用可能な技術を用いて画像
処理をリアルタイムで実行しなければならない。第２
に、画像データは理想的なものではない。荷札がノイズ
によって汚れている可能性があり、荷札が多少透明で、
背景の小包が透けてみえる可能性があり、文字が荷札と
小包自体の両方に現れる可能性がある。さらに、荷札
は、小包のどこにあるかわからない。In order to perform such tag detection, two types of problems must be solved. First, achieving the required speed is very difficult. Image processing must be performed in real time using currently available technologies. Second
In addition, image data is not ideal. The tag may be dirty by noise, the tag is slightly transparent,
The background parcel can be seen through, and characters can appear on both the tag and the parcel itself. Further, the tag is not known where in the parcel.
［課題を解決するための手段］ 前記の問題を解決するために、本発明は、行および列
に配置された複数の画素を含む小包の画像をディジタル
形式で生成し記憶する手段と、各画素の色に基づいて、
当該各画素を、荷札画素、背景画素またはそのいずれで
もないものとして分類するための分類論理機構と、各画
素の元の分類および当該各画素の隣接画素の分類に基づ
いて、当該各画素を、荷札画素または背景画素のいずれ
かとして再分類するためのセグメント化論理機構と、す
べての画素が荷札画素として再分類される領域の境界を
識別するための識別論理機構とを含む、画像処理装置を
提供できるようにする。Means for Solving the Problems In order to solve the above problems, the present invention provides a means for generating and storing, in digital form, an image of a parcel including a plurality of pixels arranged in rows and columns; Based on the color of
Based on the classification logic for classifying each pixel as a tag pixel, a background pixel, or neither, and based on the original classification of each pixel and the classification of the neighboring pixels of each pixel, An image processing apparatus comprising: a segmentation logic for reclassifying either a tag pixel or a background pixel; and an identification logic for identifying a boundary of a region where all pixels are reclassified as tag pixels. Be available.
本発明は、ほとんどすべての小包が白地に黒文字の荷
札を有し、荷札より白い小包は存在しないという観察に
基づいている。したがって、色情報を使用して荷札を背
景から分離することができる。The invention is based on the observation that almost all parcels have a black letter tag on a white background, and no parcels are whiter than the tag. Therefore, the tag can be separated from the background using the color information.
画素は、まず、荷札、背景またはそのいずれでもない
ものとして分類される。通常、背景でも荷札画素でもな
いものとして分類される画素は、荷札上の文字または小
包の本体に対応するか、ノイズに起因するものである。
その後、セグメント化技法を使用して、画素の前後関係
に基づいて画素を荷札または背景のいずれかの画素とし
て再分類する。このセグメント化技法は、たとえば、文
字に対応する画素は画像内で水平または垂直に長い連な
り（ラン）を形成しないという事実など、既知の文字の
特徴を使用することができる。さらに、セグメント化論
理機構は、荷札画素が比較的長い連なりになると期待で
きるという事実と、荷札内での背景画素の出現が非常に
まれであるという事実を利用できる。Pixels are first classified as non-tag, background, or neither. Usually, pixels that are classified as neither background nor tag pixels correspond to characters or parcel bodies on the tag or are due to noise.
The pixel is then reclassified as either a tag or background pixel based on the context of the pixel using a segmentation technique. This segmentation technique can use known character features, for example, the fact that the pixels corresponding to a character do not form long runs horizontally or vertically in the image. In addition, the segmentation logic can take advantage of the fact that tag pixels can be expected to be a relatively long run, and that the appearance of background pixels within the tag is very rare.
１実施例では、分類論理機構が、白画素を荷札画素と
して分類し、黒画素を荷札画素でも背景画素でもないも
のとして分類し、それ以外の画素のすべてを背景画素と
して分類するように配置構成される。しかし、これ以外
の可能性がある。たとえば、特定のあらかじめ定義され
た色の荷札を使用する方式を考案することもできるはず
である。この場合、この装置は、小包の画像からその特
定の色の荷札を識別し、位置を突き止めるように適合さ
れるはずである。さらに、複数の色の画素のすべてを荷
札画素として分類する可能性も残されている。In one embodiment, the classification logic arranges white pixels as tag tags, classifies black pixels as neither tag tags nor background pixels, and classifies all other pixels as background pixels. Is done. But there are other possibilities. For example, one could devise a scheme that uses tags of a particular predefined color. In this case, the device would be adapted to identify and locate the tag of that particular color from the image of the parcel. Further, there is a possibility that all of the pixels of a plurality of colors are classified as tag pixels.
また、本発明は、小包の画像を取り込むためのカメラ
と、カメラを横切って小包を移送する手段と、上で説明
した画像処理装置と、すべての画素が荷札画素として再
分類される領域の位置を使用して小包荷札の画像を生成
する手段と、荷札の画像から経路指定情報を抽出する手
段とを含む、小包の仕分けで後程使用するために小包か
ら経路指定情報を抽出するための装置も提供する。The present invention also provides a camera for capturing an image of a parcel, means for transporting the parcel across the camera, the image processing apparatus described above, and the location of an area where all pixels are reclassified as tag pixels. A means for extracting routing information from parcels for later use in parcel sorting, including means for generating an image of the parcel tag using the method and means for extracting routing information from the images of the tags. provide.
もう１つの態様では、本発明は、 （ａ）行および列に配置された複数の画素を含む、小包
の画像をディジタル形式で生成し、記憶するステップ
と、 （ｂ）各画素の色に基づいて、当該各画素を、荷札画
素、背景画素、またはそのいずれでもないものとして分
類するステップと、 （ｃ）各画素の元の分類および当該各画素の隣接画素の
分類に基づいて、当該各画素を、荷札画素または背景画
素のいずれかとして再分類するステップと、 （ｄ）すべての画素が荷札画素として再分類される領域
の境界を識別するステップと を含む、小包の画像上で荷札の位置を突き止めるための
画像処理方法を提供する。In another aspect, the invention comprises: (a) generating and storing an image of a parcel in digital form, including a plurality of pixels arranged in rows and columns; and (b) based on a color of each pixel. (C) classifying each pixel as a tag pixel, a background pixel, or neither of them; and (c) classifying each pixel based on the original classification of each pixel and the classification of pixels adjacent to the pixel. (D) identifying the boundaries of an area where all pixels are reclassified as tag pixels, the position of the tag on the image of the parcel. To provide an image processing method for locating the image.
また、上記ステップを含む小包仕分けの方法も提供す
る。Also provided is a parcel sorting method including the above steps.
［図面の簡単な説明］ 第１図は、出荷荷札翻訳システムの全体図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is an overall view of a shipping tag translation system.
第２図は、画像処理装置を示す概路図である。 FIG. 2 is a schematic diagram showing an image processing apparatus.
第3A図は、低解像度小包画像を示す図である。 FIG. 3A is a diagram showing a low-resolution parcel image.
第3B図は、低解像度小包画像を示す図である。 FIG. 3B is a diagram showing a low-resolution parcel image.
第3C図は、低解像度小包画像を示す図である。 FIG. 3C is a diagram showing a low-resolution parcel image.
［発明の実施の形態］ 本発明は、画像取込み、画像処理および光学式文字認
識（OCR）技法を使用する、小包上の荷札から出荷情報
を抽出する出荷荷札翻訳システムで実施される。DETAILED DESCRIPTION OF THE INVENTION The present invention is embodied in a shipping tag translation system for extracting shipping information from a tag on a package using image capture, image processing and optical character recognition (OCR) techniques.
このシステムを第１図に示す。このシステムには、下
記の主要構成要素が含まれる。This system is shown in FIG. The system includes the following key components:
（ａ）低解像度画像取込みステーション160および高解
像度画像取込みステーション170を有するコンベヤ・シ
ステム100。(A) Conveyor system 100 having a low resolution image capture station 160 and a high resolution image capture station 170.
（ｂ）ユーザ・インターフェース、システム全体の制御
および画像処理機能を提供する適切なプログラムの制御
の下で動作する、コンピュータ110。(B) A computer 110 that operates under the control of a suitable program that provides a user interface, overall system control and image processing functions.
（ｃ）OCRサブシステム120。(C) OCR subsystem 120.
（ｄ）コンピュータ110がコンベヤおよび画像取込みカ
メラの機能を制御できるようにする、プログラム式論理
制御機構180。(D) A programmable logic controller 180 that allows the computer 110 to control the functions of the conveyor and the image capture camera.
コンベヤの機械的機能および画像取込み機能には、通
常の構成要素を使用する。荷札を処理するために修正が
必要ではあるが、基本的なOCR構成要素は、ハードウェ
ア、ソフトウェア共に、やはり通常のものである。コン
ピュータ110は、たとえば、IBM RISC SYSTEM/6000系列
のコンピュータのいずれかとすることができる（IBMとR
ISC SYSTEM/6000はInternational Business Machines C
orporationの商標である）。Conventional components are used for the mechanical and image capture functions of the conveyor. Although modifications are required to process tags, the basic OCR components are still normal, both hardware and software. Computer 110 can be, for example, any of the IBM RISC SYSTEM / 6000 family of computers (IBM and R
ISC SYSTEM / 6000 is International Business Machines C
orporation trademark).
データの流れと第１図に示された主要構成要素を、パ
ッケージの処理の説明を介して以下の節で解説する。The data flow and the main components shown in FIG. 1 will be described in the following sections through the description of the processing of the package.
出荷荷札翻訳システムのコンベヤ・システム100は、
２つの別々のコンベヤ・モジュールすなわち、誘導コン
ベヤ130と処理コンベヤ140からなる。The conveyor system 100 of the shipping tag translation system
It consists of two separate conveyor modules, an induction conveyor 130 and a processing conveyor 140.
誘導コンベヤ130は、パッケージをシステムに装荷す
る。パッケージは、ベルトを下る際に位置合わせエッジ
150に沿ってコンベヤの片側に「片寄せ」られる。これ
によって、パッケージがシステムを通過する際のパッケ
ージの位置が一定になる。コンベヤの片側へのパッケー
ジの「片寄せ」は、水平面内に角度付きベルト・コンベ
ヤを設けるか、傾斜ベルト・コンベヤを設けることによ
って達成でき、後者の場合、パッケージは、重力によっ
てコンベヤの片側に送られる。角度付き水平ベルトを、
第１図に示す。Guidance conveyor 130 loads the packages into the system. The package is aligned with the edge when going down the belt
It is "justified" along one side of the conveyor along 150. This keeps the position of the package as it passes through the system. `` Biasing '' the package to one side of the conveyor can be achieved by providing an angled belt conveyor in a horizontal plane or by providing an inclined belt conveyor, in which case the package is transported to one side of the conveyor by gravity. Can be Angled horizontal belt,
As shown in FIG.
処理コンベヤ140は、低解像度画像取込みステーショ
ン160および高解像度画像取込みステーション170を通っ
てパッケージを運ぶ、連続走行式ベルト・コンベヤであ
る。Processing conveyor 140 is a continuously running belt conveyor that carries packages through low resolution image capture station 160 and high resolution image capture station 170.
コンベヤの速度制御は、プログラム式論理制御機構
（PLC）180によってもたらされる。PLC180は、コンピュ
ータ110に接続され、その制御の下で動作する。この制
御システム設計によって、コンピュータ110上で実行中
の制御プログラムが提供するオプションを介してコンベ
ヤ速度を選択する手段がもたらされる。Conveyor speed control is provided by a programmable logic controller (PLC) 180. PLC 180 is connected to computer 110 and operates under its control. This control system design provides a means to select conveyor speed via options provided by a control program running on computer 110.
保守、試験など、システム動作の異なるモードでは、
コンベヤ速度を設定可能である必要があることが理解さ
れよう。PLC180は、システムを通過するパッケージを追
跡するために一連の光学センサを監視し、パッケージ
「詰まり」の検出も提供する。第１図に示された間隔光
学センサ190は、パッケージ間の間隔に関するフィード
バックを提供し、コンベヤ・モジュール間のゲートとし
て働く。In different modes of system operation, such as maintenance and testing,
It will be appreciated that the conveyor speed needs to be configurable. PLC 180 monitors a series of optical sensors to track packages passing through the system, and also provides for detection of package "jam." The spacing optical sensor 190 shown in FIG. 1 provides feedback on the spacing between packages and acts as a gate between conveyor modules.
操作員は、コンベヤ・システム100に、荷札面を上に
して小包を１つづつ置く。操作員が、荷札が一定の向き
になるように小包を回転する必要はない。The operator places parcels one by one on the conveyor system 100 with the tag side facing up. There is no need for the operator to rotate the parcel so that the tag is in a certain orientation.
パッケージ間の間隔に対する制御を設けて、高さが異
なるパッケージのために高解像度カメラが焦点を調節す
る時間を与え、システムの画像処理能力に合わせてパッ
ケージ供給速度を調節できるようにする。Controls are provided for the spacing between the packages so that the high resolution camera has time to adjust the focus for packages of different heights, allowing the package feed rate to be adjusted to the image processing capabilities of the system.
この間隔を設けるために、誘導コンベヤ130の停止／
起動部分を、パッケージ装荷点で使用する。パッケージ
は、コンピュータ110内の適切なソフトウェアの制御の
下でこのコンベヤから一定速度の処理コンベヤ140に解
放され、このソフトウェアは、PLC180を介してコンベヤ
・センサを監視する。In order to provide this interval, the guide conveyor 130 must be stopped /
The activation part is used at the package loading point. The package is released from the conveyor to a constant speed processing conveyor 140 under the control of appropriate software in the computer 110, which monitors the conveyor sensors via the PLC 180.
不合格品の処理など、遅延が必要な場合には、この間
隔機構を使用して、パッケージの供給を一時的に停止す
ることができる。操作員にパッケージを離して置くよう
にさせることによって、スループットを犠牲にしてこの
機構を除去することも可能である。If a delay is required, such as in the case of rejected products, the supply of the package can be temporarily stopped using this interval mechanism. It is also possible to eliminate this mechanism at the expense of throughput by letting the operator separate the packages.
パッケージは、ステージを通過するが、このステージ
では、コンベヤ・ベルトから固定された高さに取り付け
られた標準テレビ・カメラ200が、パッケージの頂面の
カラー画像を取り込む。The package passes through a stage, where a standard television camera 200 mounted at a fixed height from the conveyor belt captures a color image of the top surface of the package.
照明は、パッケージの移動によるぼけを除去するため
に、ストロボ・ライト210を介して供給される。カメラ
のレンズは、必要なパッケージ・サイズの範囲を扱うの
に十分な被写界深度を有し、したがって、焦点制御は不
要である。Illumination is provided via strobe light 210 to remove blur due to package movement. The camera lens has a sufficient depth of field to handle the required package size range, so that focus control is not required.
テレビ・カメラは、コンピュータ110内の既知の形式
のビデオ取込みボードに接続され、その画像は、コンピ
ュータ内の記憶装置にディジタル形式で記憶される。コ
ンピュータ110内の適切なソフトウェアが、ディジタル
形式の低解像度画像を分析して、下記の機能を実行す
る。The television camera is connected to a known type of video capture board in computer 110, and the images are stored in digital form on storage in the computer. Appropriate software in computer 110 analyzes the low resolution image in digital form and performs the following functions.
（ａ）パッケージ寸法とベルト上の向きの判定。(A) Judgment of package size and orientation on belt.
（ｂ）荷札検出。(B) Tag detection.
（Ｃ）後程荷札を貼り付けるためのパッケージ上の空き
区域の突き止め。(C) Locating an empty area on the package for attaching a tag later.
テレビ画像自体からパッケージ高さを判定するため
に、多数の技法を使用することができる。たとえば、ベ
ルト経路に沿ったパッケージの長さを、単純な光センサ
によって測定でき、テレビ画像内の画素単位でパッケー
ジの長さと比較することができる。パッケージは、その
頂面がカメラに近ければ、テレビ画像では長く見える。
その代わりに、ベルトを横から見る光電セル・アレイま
たは、テレビ・カメラを含むフレームの上に吊るして取
り付けられた音響センサなどの別個のセンサを介してパ
ッケージ高さを判定することもできる。A number of techniques can be used to determine the package height from the television image itself. For example, the length of the package along the belt path can be measured by a simple optical sensor and compared to the length of the package on a pixel-by-pixel basis in the television image. The package looks long on television images if its top surface is close to the camera.
Alternatively, the package height can be determined via a photocell array looking sideways from the belt or a separate sensor, such as an acoustic sensor suspended above the frame containing the television camera.
パッケージ境界は、パッケージからベルトへの色シフ
トを検出することによって、テレビ画像内で簡単に判定
できる。その後、頂面の寸法と向きを判定できる。パッ
ケージ高さ情報を、頂面視寸法と共に使用して、その小
包を囲むことのできる最小の境界ボックスを計算する。Package boundaries can be easily determined in a television image by detecting a color shift from the package to the belt. Thereafter, the dimensions and orientation of the top surface can be determined. The package height information is used together with the top view dimensions to calculate the smallest bounding box that can enclose the parcel.
小包経路指定に必要な情報は、小色の荷札に含まれ
る。この情報へのアクセスを簡単にするために、コンピ
ュータ110は、小包の低解像度画像から荷札の位置を抽
出するようにプログラムされる。The information required for the parcel route designation is included in the small tag. To facilitate access to this information, computer 110 is programmed to extract the location of the tag from the low resolution image of the parcel.
荷札は、小包の背景と比較した色の差の分析を介し
て、小包の低解像度画像内で位置を突き止められる。こ
の実施例では、位置と向きの情報を使用して、下流で高
解像度画像を取り込む区域を定義する。The tag is located in the low-resolution image of the parcel via analysis of the color difference compared to the parcel background. In this embodiment, the location and orientation information is used to define an area for capturing a high-resolution image downstream.
この実施例では、このシステムによって毎秒１個また
は毎時3600個の小包を処理することができる。この処理
には、画像取込み、荷札検出、回転検出、偏り補正およ
び、荷札画像からの経路指定情報のOCRまたは手動抽出
が含まれる。これらすべての動作を完了するためには、
画像取込みと荷札検出に200ms以上を費やしてはならな
い。In this embodiment, the system can process one parcel per second or 3600 parcels per hour. This processing includes image capture, tag detection, rotation detection, bias correction, and OCR or manual extraction of routing information from tag images. To complete all these actions,
Do not spend more than 200ms on image capture and tag detection.
現在使用可能な技術を用い、適度なコストでこのよう
なリアル・タイム荷札検出を実行するために、２種類の
問題を解決した。第１に、要求速度の達成は非常に困難
である。というのは、処理のため画像取込みボードから
ホストへ画像データを転送するのに200ms以上かかるか
らである。第２に、画像データは理想的なものではな
い。荷札の白色がノイズによって汚れている可能性があ
り、荷札が多少透明で、背景の小包が白色を損なう可能
性があり、荷札の文字の黒色は、荷札にしかないとは限
らない。さらに、荷札は、小包のどこにあるかわからな
い。To perform such real-time tag detection at a reasonable cost using currently available techniques, two types of problems have been solved. First, achieving the required speed is very difficult. This is because it takes more than 200 ms to transfer image data from the image capture board to the host for processing. Second, image data is not ideal. The white color of the tag may be dirty by noise, the tag may be somewhat transparent, the parcel in the background may harm the white color, and the black color of the character on the tag is not always unique to the tag. Further, the tag is not known where in the parcel.
低解像度小包画像の処理は、下記のように進行する。 Processing of the low resolution parcel image proceeds as follows.
テレビ・カメラ200が、640×480画素の画像を生成す
る。この画像の10本ごとに１本の走査線が、ビデオ取込
みカードからコンピュータ・メモリに転送され、合計約
50msを要する。これは、高度に副標本化された画像を、
適度な時間内にもたらす。The television camera 200 generates a 640 × 480 pixel image. One scan line for every ten lines of this image was transferred from the video capture card to computer memory for a total of approximately
It takes 50ms. It converts highly subsampled images,
Bring it in a reasonable time.
検出問題を解決するために、画像内のすべての画素に
ついて、それが荷札に含まれる確度を見積もる関数を見
つけた。その後、画像の２つの主軸のそれぞれに１次元
セグメント化アルゴリズムを使用して、荷札と小包の残
りの間の区別を明瞭にする。To solve the detection problem, for every pixel in the image, we found a function that estimates the likelihood that it will be included in the tag. Thereafter, a one-dimensional segmentation algorithm is used for each of the two principal axes of the image to clarify the distinction between the tag and the rest of the parcel.
この技法は、下で詳細に説明する。 This technique is described in detail below.
副標本化された小包画像の処理を、第２図に示す。ま
ず、分類400を実行する。画像内の画素は、３つの種類
すなわち、荷札、背景およびそれ以外に分類される。各
画素は、まず、隣接画素を無視してこれらの種類のうち
の１つとして分類される。The processing of the sub-sampled parcel image is shown in FIG. First, the classification 400 is performed. Pixels in the image are classified into three types: tag, background, and others. Each pixel is first classified as one of these types, ignoring neighboring pixels.
（ａ）荷札型画素 これらは白画素である。このような
画素は、小包のどこにでも現れ得るが、荷札区域の長い
連なり（垂直と水平の両方）に集中していると仮定す
る。(A) Tag type pixels These are white pixels. It is assumed that such pixels can appear anywhere on the parcel, but are concentrated in a long run of tags (both vertical and horizontal).
（ｂ）それ以外型画素 これらは黒画素である。このよ
うな画素は、荷札区域と背景区域の両方に現れ得るが、
荷札内では、水平、垂直またはその両方に長い連なりを
形成しないと仮定する。(B) Other type pixels These are black pixels. Such pixels can appear in both the tag area and the background area,
It is assumed that no long runs are formed in the tag, horizontally, vertically or both.
（Ｃ）背景型画素 残りのすべての画素。このような画
素が荷札内に現れることは、非常にまれであると仮定す
る。(C) Background pixel All remaining pixels. It is assumed that the appearance of such pixels in the tag is very rare.
分類400は、下記の２段階からなる。 Classification 400 consists of the following two stages.
（ａ）色空間変換 元のRGB画像を、YUV画像に変換する。ここで、Ｙは輝
度成分であり、ＵおよびＶは、クロミナンス成分であ
る。変換式は次のとおりである。(A) Color space conversion The original RGB image is converted to a YUV image. Here, Y is a luminance component, and U and V are chrominance components. The conversion formula is as follows.
Ｙ＝0.299＊Ｒ＋0.587＊Ｇ＋0.114＊Ｂ Ｕ＝Ｂ−Ｙ Ｖ＝Ｒ−Ｙ （ｂ）色分類 YUV空間では、グレイ・レベルが、クロミナンス成分
（U,V）の低い値によって指定される。これらの色の中
で、白色は、高い値の輝度成分Ｙによって定義され、黒
色は、低い値の輝度成分Ｙによって定義される。Y = 0.299 * R + 0.587 * G + 0.114 * B U = BY V = RY (b) Color classification In the YUV space, the gray level is specified by the low value of the chrominance component (U, V). You. Among these colors, white is defined by a high value luminance component Y and black is defined by a low value luminance component Y.
画素ごとに、まずクロミナンス成分を検査する。これ
らのうちの少なくとも１つが高い場合、その画素の色は
グレイではなく、その画素は背景として分類される。両
方の成分が低い値を有する場合、輝度値を検査する。輝
度が高い場合、その画素の色は白てあり、荷札として分
類される。値が低い場合、その画素の色は黒であり、そ
れ以外型画素として分類される。中間の範囲の値の輝度
を有する画素も、背景として分類される。First, the chrominance component is inspected for each pixel. If at least one of these is high, the color of the pixel is not gray and the pixel is classified as background. If both components have low values, check the luminance value. When the brightness is high, the color of the pixel is white and is classified as a tag. If the value is low, the color of the pixel is black and it is classified as a non-type pixel. Pixels having a luminance in the middle range of values are also classified as background.
その後、セグメント化処理410を、まず各行に、次に
各列に適用する。この処理では、行または列を、領域尺
度に対する制約の対象となる荷札領域、背景領域または
その他領域にセグメント化する。セグメント化の結果と
して、画素は上記のカテゴリに再分類されるが、この場
合は、周囲の関係が考慮に入れられる。第3A図、第3B区
および第3C図では、０が荷札（白画素）を表し、１が背
景画素を表し、２がその他型画素を表す。Thereafter, the segmentation process 410 is applied first to each row and then to each column. In this process, a row or column is segmented into a tag area, background area, or other area subject to a restriction on the area scale. As a result of the segmentation, the pixels are reclassified into the above categories, but in this case the surrounding relationships are taken into account. In FIGS. 3A, 3B and 3C, 0 represents a tag (white pixel), 1 represents a background pixel, and 2 represents other type pixels.
第3A図に、セグメント化の前の画素の分類を示す。 FIG. 3A shows the classification of pixels before segmentation.
第3B図に、行セグメント化の後の分類を示す。第3C図
に、列セグメント化の後の分類を示す。この実施例で
は、どの型の画素の連なりであっても少なくとも３画素
の長さでなければならないことをセグメント化の制約と
仮定した。FIG. 3B shows the classification after row segmentation. FIG. 3C shows the classification after column segmentation. In this example, it was assumed that the segmentation constraint was that any type of pixel sequence must be at least three pixels long.
セグメント化本発明の好ましい実施例に使用されるセ
グメント化論理機構を、以下で説明する。Segmentation The segmentation logic used in the preferred embodiment of the present invention is described below.
このアルゴリズムは、分類処理400の結果として得ら
れた画像の各行または列、すなわち記号の配Ａ（）を処
理する。３つの記号を使用して、問題の２つの特性記
号'1'および'0'。この場合、それぞれ背景画素と白画
素）と、両者の不在（記号’＊’。この場合、黒画素）
を表す。The algorithm processes each row or column of the image resulting from the classification process 400, ie, the arrangement of symbols A (). Using three symbols, the two property symbols '1' and '0' in question. In this case, a background pixel and a white pixel, respectively, and the absence of both (symbol '*'; in this case, a black pixel)
Represents
Ａ（）は、分類処理によって作成されるが、100％正確
ではない。セグメント化処理では、画素の100％正確な
分類において、記号が分離して現れることはなく、連な
りとして現れるという前提に頼る。A () is created by the classification process, but is not 100% accurate. The segmentation process relies on the assumption that in a 100% accurate classification of the pixels, the symbols do not appear separately, but appear as a series.
セグメント化論理機構は、 Ａ（）を走査し、Ａ（）によって反映される連なりの
型に関して３つの仮説を維持する。これらの仮説のそれ
ぞれがスコアを有し、ある仮説のスコアが実験的に決定
された閾値を超える時には、その仮説を受け入れ、出力
を形成する。The segmentation logic scans A () and maintains three hypotheses about the type of run reflected by A (). Each of these hypotheses has a score, and when the score of a hypothesis exceeds an empirically determined threshold, the hypothesis is accepted and an output is formed.
具体的に言うと、仮説のそれぞれは、下記の変数を有
する。Type（型）０、１、または＊。Specifically, each of the hypotheses has the following variables: Type 0, 1, or *.
Score（スコア） セグメント化の結果とＡ（）内のデ
ータの間の一致の量を表す。Score Represents the amount of match between the result of the segmentation and the data in A ().
Run_score（連なりのスコア） 最後にセグメント化さ
れた連なりと、Ａ（）内の対応する要素との間の一致の
量を表す。Run_score (run score) Represents the amount of match between the last segmented run and the corresponding element in A ().
Increment（増分） Ａ（）内の次の要素が仮説の型と
一致する場合のスコアの増分。Increment The increment of the score when the next element in A () matches the hypothesis type.
Start（開始） 仮説の型の連なりが開始したと仮定さ
れる、Ａ（）内の指標。Start The indicator in A (), which is assumed to be the start of the hypothesis type chain.
Prev_len（前の長さ） この型の最後の連なりの長さ。Prev_len (previous length) Length of the last run of this type.
Ａ（）は、ａ（０）、…、ａ（ｎ−１）であるものと
する。この処理は、下記のように進行する。A () is assumed to be a (0),..., A (n-1). This process proceeds as follows.
1.初期設定2.A（）のすべての要素に対するステップ３ないしステ
ツプ７のループ3.スコアの作成と前の長さの維持4.開始点の更新5.仮説の受入れ6.正規化7.スコア追跡8.ループの終り 上記アルゴリズムの項「ａ（ｉ）がＸと一致する」に
は、ａ（ｉ）＝＝＊の場合と、ａ（ｉ）！＝current_st
ateで、X!＝ａ（ｉ）についてincrement（ａ（ｉ））＜
prev_len（ｘ）の場合とが含まれる。1.initial settings 2. Loop from step 3 to step 7 for all elements of A () 3. Create score and maintain previous length 4. Update starting point 5. Accepting hypotheses 6.Normalization 7. Score tracking 8. End of Loop The term “a (i) matches X” in the above algorithm includes two cases: a (i) == * and a (i)! = Current_st
ate, for X! = a (i) increment (a (i)) <
prev_len (x).
この実施例のように10本ごとに１本の走査線をとるこ
と以外にも多くの方法で画像を副標本化することができ
ることが理解される。また、観察された荷札型画素に従
って標本化密度を変更する、すなわち、荷札型画素の近
傍では標本化密度を上げ、それ以外の場所では密度を下
げることも可能である。It is understood that the image can be sub-sampled in many ways besides taking one scan line every 10 lines as in this embodiment. It is also possible to change the sampling density according to the observed tag-type pixels, that is, increase the sampling density in the vicinity of the tag-type pixels and decrease the density in other places.
荷札検出分析の副産物が、小包頂面の無特徴区域の識
別である。無特徴区域のうちの１つが、荷札貼付け用の
空き区域として報告される。A by-product of the tag detection analysis is the identification of featureless areas on the parcel top. One of the featureless areas is reported as an empty area for tagging.
パッケージは、次に、標準的な2048要素のライン・ス
キャナ220を使用する、荷札区域の高解像度（200dpiグ
レイスケール）画像を取り込むステージを通過する。単
一のライン・スキャナの視界は、約254mm（2048/200dp
i）であるから、パッケージ全体の幅をカバーする２つ
の代替案が可能である。The package then passes through a stage that uses a standard 2048 element line scanner 220 to capture a high resolution (200 dpi grayscale) image of the tag area. The field of view of a single line scanner is approximately 254mm (2048 / 200dp
Because of i), two alternatives are possible that cover the entire width of the package.
（ａ）それぞれがベルト幅の1/3をカバーし、わずかに
重なりあう視野を有し、それぞれ独自のレンズを有する
３つのライン・スキャン・カメラ。この配置では、「候
補」荷札の数が、スキャナ構成によって制限されない。
しかし、この構成では、２つのスキャナにまたがって分
割された荷札画像に対して「継ぎ合わせ」ソフトウェア
動作を行う必要がある。(A) Three line scan cameras, each covering one third of the belt width, with slightly overlapping fields of view, each with its own lens. In this arrangement, the number of "candidate" tags is not limited by the scanner configuration.
However, in this configuration, it is necessary to perform a "joining" software operation on the tag image divided across the two scanners.
（ｂ）候補荷札を含む254mmの区域を見るようにピボツ
ト回転可能な複数のライン・スキャン・カメラ。２つの
カメラがあれば、荷札の位置にかかわらずに２つの候補
荷札を取り込めることが保証される。同一の254mm幅の
中の追加の候補荷札もカバーすることができる。カメラ
をピボット回転すると、ソフトウェアで補償しなければ
ならない画像のひずみが生じるが、これは予測可能であ
る。(B) Multiple line scan cameras that can be pivoted to view a 254 mm area containing the candidate tag. With two cameras, it is guaranteed that two candidate tags can be captured regardless of the position of the tag. Additional candidate tags within the same 254mm width can also be covered. Pivoting the camera creates image distortions that must be compensated by software, which is predictable.
どちらの手法でも、カメラのレンズにモーター駆動焦
点調節を設けて、異なるパッケージ高さを補償する。Both approaches provide motorized focusing on the camera lens to compensate for different package heights.
ライン・カメラ用の照明は、ベルトを横切る連続した
ライトのストリップ230として提供される。Lighting for the line camera is provided as a continuous strip of light 230 across the belt.
各荷札の200dpi、４ビット・グレイ・スケール画像
は、低解像度画像から得られた荷札の位置の知識に基づ
いて、適切なスキャナからOCRサブシステム120に渡され
る。The 200 dpi, 4-bit gray scale image of each tag is passed to the OCR subsystem 120 from the appropriate scanner based on knowledge of the tag's position obtained from the low resolution image.
この高解像度荷札画像は、既知の形でOCRサブシステ
ム120によって処理されて、荷札に印刷されたテキスト
から経路指定情報が抽出される。This high resolution tag image is processed in a known manner by the OCR subsystem 120 to extract routing information from the text printed on the tag.
最後に、この経路指定情報を、コンベヤ・システムの
さらに下流にある機構を用いて荷札を貼り付けるアプリ
ケーションに転送することができる。Finally, this routing information can be transferred to an application for tagging using a mechanism further downstream of the conveyor system.
［産業上の応用可能性］ 本発明は、小包のディジタル化された画像上で荷札を
識別し、位置を突き止めるための画像処理装置を含む、
コンピュータ化された小包仕分け装置の分野に適用でき
る。Industrial Applicability The present invention includes an image processing device for identifying and locating a tag on a digitized image of a parcel,
Applicable in the field of computerized parcel sorting equipment.
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平１−219968（ＪＰ，Ａ) 特開 昭63−177283（ＪＰ，Ａ) 特開 昭63−236179（ＪＰ，Ａ) 特表 平４−503921（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) B07C 3/10 - 3/14 G06K 9/20 340 G06F 15/62 380──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-1-219968 (JP, A) JP-A-63-177283 (JP, A) JP-A-63-236179 (JP, A) 503921 (JP, A) (58) Field surveyed (Int. Cl.7 , DB name) B07C 3/10-3/14 G06K 9/20 340 G06F 15/62 380
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BR9408547ABR9408547A (en) | 1994-03-07 | 1994-03-07 | Apparatus and method for extracting routing information from wrapping for subsequent use in sorting wrappers comprising apparatus and image processing method for locating labels on wrapping images |
| PCT/EP1994/000667WO1995024278A1 (en) | 1994-03-07 | 1994-03-07 | Improvements in image processing |
| SG1995000583ASG45100A1 (en) | 1994-03-07 | 1994-03-07 | Improvements in image processing |
| Publication Number | Publication Date |
|---|---|
| JPH10509089A JPH10509089A (en) | 1998-09-08 |
| JP3028510B2true JP3028510B2 (en) | 2000-04-04 |
| Publication | Publication Date | Title |
|---|---|---|
| US5737438A (en) | Image processing | |
| CA2231450C (en) | System and method for reading package information | |
| EP0749362B1 (en) | Improvements in image processing | |
| JP2713911B2 (en) | Mail handling equipment | |
| CA2282764C (en) | System and method for ocr assisted bar code decoding | |
| US5642442A (en) | Method for locating the position and orientation of a fiduciary mark | |
| KR101753279B1 (en) | System for auto-recognizing Delivery freight | |
| US20040108382A1 (en) | Method and apparatus for processing and determining the orientation of documents | |
| US6687421B1 (en) | Skew detection of text in a noisy digitized image | |
| US6934413B2 (en) | Segmentation of text lines in digitized images | |
| US20230370724A1 (en) | Recording and brightness adjustment of an image | |
| JP3028510B2 (en) | Image processing apparatus, apparatus for extracting routing information from parcel, image processing method, and parcel sorting method | |
| KR100586312B1 (en) | Mail classification method and system | |
| KR102457712B1 (en) | System and Method for Recognizing Double Loading of Baggage | |
| JPH05307639A (en) | Device for detecting address area of postal matter | |
| JP2000262985A (en) | Automatic baggage sorting method and system | |
| JP2017220791A (en) | Image reader, division device, and program used for image reader | |
| JPH06201346A (en) | Brand discrimination device | |
| Cracknell et al. | A colour classification approach to form dropout | |
| Appleby | Array processor speeds postcode reading | |
| JP2001312695A (en) | Device and method for detecting label area and recording medium | |
| JP2002216071A (en) | Optical reader and bar code reading method | |
| JP2003203202A (en) | Destination recognition device, sorter, and destination recognition method | |
| JPS60252205A (en) | Direction identifying device of moving object |