CN110766760B - Method, device, equipment and storage medium for camera calibration - Google Patents
Method, device, equipment and storage medium for camera calibrationDownload PDFInfo
- Publication number
- CN110766760B CN110766760BCN201911001867.8ACN201911001867ACN110766760BCN 110766760 BCN110766760 BCN 110766760BCN 201911001867 ACN201911001867 ACN 201911001867ACN 110766760 BCN110766760 BCN 110766760B
- Authority
- CN
- China
- Prior art keywords
- points
- extrinsic
- extrinsic parameter
- camera
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Translated fromChinese
Description
Translated fromChinese技术领域technical field
本公开的实施例主要涉及计算机技术领域，可用于自动驾驶，并且更具体地，涉及用于相机标定的方法、装置、设备以及计算机可读存储介质。Embodiments of the present disclosure mainly relate to the field of computer technology, which can be used for automatic driving, and more particularly, to a method, apparatus, device, and computer-readable storage medium for camera calibration.
背景技术Background technique
近年来，自动驾驶技术的发展越来越迅速。自动驾驶技术的基础是对车辆周围环境的感知，即识别周围环境的具体状况。已经提出，除了利用车载的传感器装置(例如，车载激光雷达或者车载相机)进行环境感知之外，还可以通过车外的传感器装置(例如，安装在路侧的相机)来获取车辆的环境信息，以更好地支持自动驾驶技术。然而，由于某些原因，安装在路侧的相机的安装位置可能相对于初始安装位置出现抖动，进而影响例如基于路侧相机所捕获的图像数据所确定的车辆或障碍物的位置的准确性。这种位置的误差对于自动驾驶可能是无法接受的。In recent years, autonomous driving technology has developed rapidly. The basis of autonomous driving technology is the perception of the surrounding environment of the vehicle, that is, to identify the specific conditions of the surrounding environment. It has been proposed that, in addition to using on-board sensor devices (for example, on-board lidar or on-board cameras) for environmental perception, it is also possible to obtain vehicle environmental information through external sensor devices (for example, cameras installed on the roadside), to better support autonomous driving technology. However, for some reason, the installation position of the roadside-mounted camera may shake relative to the original installation position, which affects the accuracy of the position of the vehicle or obstacle determined based on image data captured by the roadside camera, for example. This error in position may be unacceptable for autonomous driving.
发明内容SUMMARY OF THE INVENTION
根据本公开的实施例，提供了一种用于相机标定的方案。According to an embodiment of the present disclosure, a solution for camera calibration is provided.
在本公开的第一方面中，提供了一种用于相机标定的方法。该方法包括：基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和第一图像中基于参考线在三维地图中的位置信息确定的第二点集合，确定相机的第一外参数，第一外参数指示相机坐标系与世界坐标系的转换关系；获取相机的第二外参数，第二外参数基于相机先前捕获的第二图像而被确定；基于第二外参数和位置信息，从第一图像中确定第三点集合；以及基于第一点集合、第二点集合以及第三点集合，从第一外参数和第二外参数中确定与第一图像相对应的外参数。In a first aspect of the present disclosure, a method for camera calibration is provided. The method includes: based on determining a first set of points corresponding to a predetermined reference line from a first image captured by a camera and a second set of points in the first image determined based on position information of the reference line in a three-dimensional map, determining The first extrinsic parameter of the camera, the first extrinsic parameter indicates the conversion relationship between the camera coordinate system and the world coordinate system; the second extrinsic parameter of the camera is obtained, and the second extrinsic parameter is determined based on the second image previously captured by the camera; based on the second Extrinsic parameters and position information, determining a third point set from the first image; and determining a correlation with the first image from the first extrinsic parameter and the second extrinsic parameter based on the first point set, the second point set, and the third point set the corresponding external parameters.
在本公开的第二方面中，提供了一种用于相机标定的装置。该装置包括：第一外参数确定模块，被配置为基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和第一图像中基于参考线在三维地图中的位置信息确定的第二点集合，确定相机的第一外参数，第一外参数指示相机坐标系与世界坐标系的转换关系；第一外参数获取模块，被配置为获取相机的第二外参数，第二外参数基于相机先前捕获的第二图像而被确定；外参数选择模块，被配置为基于第二外参数和位置信息，从第一图像中确定第三点集合；以及基于第一点集合、第二点集合以及第三点集合，从第一外参数和第二外参数中确定与第一图像相对应的外参数。In a second aspect of the present disclosure, an apparatus for camera calibration is provided. The device includes: a first extrinsic parameter determination module configured to determine a first set of points corresponding to a predetermined reference line from a first image captured by the camera and a first image based on the reference line in the three-dimensional map The second set of points determined by the position information determines the first external parameter of the camera, and the first external parameter indicates the conversion relationship between the camera coordinate system and the world coordinate system; the first external parameter acquisition module is configured to acquire the second external parameter of the camera , the second extrinsic parameter is determined based on the second image previously captured by the camera; the extrinsic parameter selection module is configured to determine a third set of points from the first image based on the second extrinsic parameter and the position information; and based on the first point The set, the second set of points, and the third set of points determine the extrinsic parameter corresponding to the first image from the first extrinsic parameter and the second extrinsic parameter.
在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。In a third aspect of the present disclosure, there is provided an electronic device comprising one or more processors; and storage means for storing one or more programs, when the one or more programs are executed by the one or more processors Executing causes the one or more processors to implement the method according to the first aspect of the present disclosure.
在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。In a fourth aspect of the present disclosure, there is provided a computer-readable storage medium having stored thereon a computer program which, when executed by a processor, implements the method according to the first aspect of the present disclosure.
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。It should be understood that the matters described in this Summary are not intended to limit key or critical features of the embodiments of the present disclosure, nor are they intended to limit the scope of the present disclosure. Other features of the present disclosure will become apparent from the following description.
附图说明Description of drawings
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：The above and other features, advantages and aspects of various embodiments of the present disclosure will become more apparent when taken in conjunction with the accompanying drawings and with reference to the following detailed description. In the drawings, the same or similar reference numbers refer to the same or similar elements, wherein:
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；1 shows a schematic diagram of an example environment in which various embodiments of the present disclosure can be implemented;
图2示出了根据本公开的一些实施例的用于相机标定的方法的流程图；FIG. 2 shows a flowchart of a method for camera calibration according to some embodiments of the present disclosure;
图3示出了根据本公开的一些实施例的用于确定第一点集合的示例方法的流程图；3 illustrates a flowchart of an example method for determining a first set of points in accordance with some embodiments of the present disclosure;
图4示出了将三维坐标点投影到第一图像的示意图；FIG. 4 shows a schematic diagram of projecting three-dimensional coordinate points to the first image;
图5示出了根据本公开的一些实施例的用于确定相机的第一外参数的示例方法的流程图；5 illustrates a flowchart of an example method for determining a first extrinsic parameter of a camera according to some embodiments of the present disclosure;
图6示出了根据本公开的一些实施例的确定与第一图像对应的外参数的示例方法的流程图；6 illustrates a flowchart of an example method of determining extrinsic parameters corresponding to a first image, according to some embodiments of the present disclosure;
图7示出了根据本公开的一些实施例的更新外参数的示例方法的流程图；7 shows a flowchart of an example method of updating extrinsic parameters according to some embodiments of the present disclosure;
图8示出了根据本公开的另一些实施例的更新外参数的示例方法的流程图；8 shows a flowchart of an example method of updating extrinsic parameters according to other embodiments of the present disclosure;
图9示出了根据本公开的一些实施例的用于确定相机的外参数的装置的示意性结构框图；以及FIG. 9 shows a schematic structural block diagram of an apparatus for determining extrinsic parameters of a camera according to some embodiments of the present disclosure; and
图10示出了能够实施本公开的多个实施例的计算设备的框图。10 illustrates a block diagram of a computing device capable of implementing various embodiments of the present disclosure.
具体实施方式Detailed ways
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。Embodiments of the present disclosure will be described in more detail below with reference to the accompanying drawings. While certain embodiments of the present disclosure are shown in the drawings, it should be understood that the present disclosure may be embodied in various forms and should not be construed as limited to the embodiments set forth herein, but rather are provided for the purpose of A more thorough and complete understanding of the present disclosure. It should be understood that the drawings and embodiments of the present disclosure are only for exemplary purposes, and are not intended to limit the protection scope of the present disclosure.
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。In the description of embodiments of the present disclosure, the term "comprising" and the like should be understood as open-ended inclusion, ie, "including but not limited to". The term "based on" should be understood as "based at least in part on". The terms "one embodiment" or "the embodiment" should be understood to mean "at least one embodiment". The terms "first", "second", etc. may refer to different or the same objects. Other explicit and implicit definitions may also be included below.
如本文中使用的，术语“相机的外参数”例如可以是在相机坐标系与世界坐标系之间进行转换所需要的参数，例如平移矩阵、旋转矩阵，等等。术语“相机的内参数”例如可以是在图像坐标系和/或像素坐标系与相机坐标系之间进行转换所需要的参数，例如平移矩阵、旋转矩阵，等等。“标定相机的外参数”可以是指对相机坐标系与世界坐标系之间的转换参数的确定。As used herein, the term "extrinsic parameters of the camera" may be, for example, parameters required to convert between the camera coordinate system and the world coordinate system, such as translation matrices, rotation matrices, and the like. The term "intrinsic parameters of the camera" may be, for example, parameters required to convert between an image coordinate system and/or a pixel coordinate system and a camera coordinate system, such as translation matrices, rotation matrices, and the like. "Calibrating the extrinsic parameters of the camera" may refer to the determination of conversion parameters between the camera coordinate system and the world coordinate system.
在本公开的上下文中，世界坐标系可以是指覆盖全球范围的参考坐标系统，其例如可以用于辅助车辆的自动驾驶或自主停车等，其示例包括UTM坐标系统、经纬度坐标系统，等等。相机坐标系的原点可以位于成像设备的光心，竖轴(z轴)可以与成像设备的光轴重合，横轴(x轴)和纵轴(y轴)可以与成像平面平行。像素坐标系的原点可以在图像的左上角，横轴和纵轴可以分别为图像所在的像素行和像素列，单位可以为像素。图像坐标系的原点可以在图像的中心(即像素坐标系的中点)，横轴和纵轴与像素坐标系平行，单位为可以毫米。但是，将理解，在其他的实施例中，这些坐标系也可以按照在本领域中所接受的其他合理的方式被定义。In the context of the present disclosure, the world coordinate system may refer to a reference coordinate system covering a global scope, which may be used, for example, to assist automatic driving or autonomous parking of vehicles, etc., examples of which include UTM coordinate systems, latitude and longitude coordinate systems, and the like. The origin of the camera coordinate system can be located at the optical center of the imaging device, the vertical axis (z axis) can be coincident with the optical axis of the imaging device, and the horizontal axis (x axis) and the vertical axis (y axis) can be parallel to the imaging plane. The origin of the pixel coordinate system can be the upper left corner of the image, the horizontal axis and the vertical axis can be the pixel row and pixel column where the image is located, respectively, and the unit can be pixels. The origin of the image coordinate system can be at the center of the image (ie, the midpoint of the pixel coordinate system), the horizontal and vertical axes are parallel to the pixel coordinate system, and the unit is millimeters. However, it will be appreciated that in other embodiments, these coordinate systems may also be defined in other reasonable manners accepted in the art.
根据本公开的各种实施例，提供了一种相机标定的方案。在本公开的实施例中，基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和第一图像中基于参考线在三维地图中的位置信息确定的第二点集合，确定相机的第一外参数，第一外参数指示相机坐标系与世界坐标系的转换关系；获取相机的第二外参数，第二外参数基于相机先前捕获的第二图像而被确定；基于第二外参数和位置信息，从第一图像中确定第三点集合；以及基于第一点集合、第二点集合以及第三点集合，从第一外参数和第二外参数中确定与第一图像相对应的外参数。由此，可以使得标定的外参数更为平滑According to various embodiments of the present disclosure, a solution for camera calibration is provided. In an embodiment of the present disclosure, based on a first set of points corresponding to a predetermined reference line determined from a first image captured by a camera and a second set of points determined based on position information of the reference line in the three-dimensional map in the first image Set of points, determine the first extrinsic parameter of the camera, the first extrinsic parameter indicates the conversion relationship between the camera coordinate system and the world coordinate system; obtain the second extrinsic parameter of the camera, the second extrinsic parameter is determined based on the second image previously captured by the camera ; determine a third set of points from the first image based on the second extrinsic parameter and the position information; and determine from the first extrinsic parameter and the second extrinsic parameter based on the first set of points, the second set of points and the third set of points Extrinsic parameters corresponding to the first image. In this way, the calibrated external parameters can be made smoother
以下将参照附图来具体描述本公开的实施例。Embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings.
图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中示意性示出了一些典型物体，包括道路102、以及在道路102上行驶的车辆110。如图1所示，道路102例如包括停止标志线115-1和车道标志线115-2(单独或统一称为标志线115)，此外，环境100中还包括用于感测道路102的环境信息的相机105。应当理解，这些示出的设施和物体仅是示例，根据实际情况，不同交通环境中存在可能出现的物体将会变化。本公开的范围在此方面不受限制。FIG. 1 shows a schematic diagram of an
车辆110可以是可以承载人和/或物并且通过发动机等动力系统移动的任何类型的车辆，包括但不限于轿车、卡车、巴士、电动车、摩托车、房车、火车等等。环境100中的一个或多个车辆110可以是具有一定自动驾驶能力的车辆，这样的车辆也被称为无人驾驶车辆。当然，环境100中的另外一个或一些车辆110还可以是不具有自动驾驶能力的车辆。
在一些实施例中，相机105可以被布置在道路102的上方。在一些实施例中，相机105例如还可以被布置在道路102的两侧。如图1所示，相机105可以通信地耦合到计算设备120。虽然被示出为单独的实体，但计算设备120可以被嵌入在相机105中。计算设备120也可以是相机105外部的实体，并且可以经由无线网络与相机105通信。计算设备120可以被实现为一个或多个计算设备，其至少包含处理器、存储器以及其他通常存在于通用计算机中的组件，以便实现计算、存储、通信、控制等功能。In some embodiments, the
在一些实施例中，相机105可以获取与道路102相关的环境信息(例如，车道线信息、道路边界信息或障碍物信息)，并将该环境信息发送至车辆110，以用于车辆110的行驶决策。在一些实施例中，相机105也可以基于相机的外参数和内参数以及所捕获的车辆110的图像，以确定车辆110的位置，并将该位置发送至车辆110，以实现车辆110的定位。能够看到，无论是获取准确的环境信息，还是确定准确的位置信息，确定相机准确的内参数及外参数都是必须的。In some embodiments, the
以下将结合图2至图6来描述根据本公开的实施例的相机标定的过程。图2示出了根据本公开的实施例的用于相机标定的方法200的流程图。方法200例如可以由图1中所示的计算设备120来执行。The process of camera calibration according to an embodiment of the present disclosure will be described below with reference to FIGS. 2 to 6 . FIG. 2 shows a flowchart of a
如图2所示，在框202，计算设备120基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和第一图像中基于参考线在三维地图中的位置信息确定的第二点集合，确定相机的第一外参数，其中第一外参数指示相机坐标系与世界坐标系的转换关系。As shown in FIG. 2, at
在一些实施例中，相机105可以实时获取周围环境的图像。计算设备120可以获取相机105当前拍摄的第一图像。计算设备120可以从由相机105所捕获的第一图像中确定与预定的参考线对应的第一点集合。在一些实施例中，参考线例如可以是环境中正交的两条线，例如图1中所示的道路102的车道标志线115-2和停止标志线115-1。在一些实施例中，参考线例如也可以是用于标定目的而在道路102上喷涂的特殊的标志线，例如一组或多组相交线。在一些实施例中，当已知至少两个特征点在世界坐标系和图像坐标系中的位置时，参考线也可以仅包括一条线。In some embodiments, the
在一些实施例中，计算设备120可以通过图像识别技术以从相机105所捕获的二维图像中确定与参考线对应的第一点集合。图3示出了根据本公开实施例的确定第一点集合的过程的流程图。In some embodiments, the
如图3所示，在框302，计算设备120可以获取第一图像的掩码图像。根据本公开的一些实施例，计算设备120可以获取由经校准后的相机105捕获的第一图像，其中在掩码图像中位于参考线上的点和位于参考线外的点被不同地标识。以图1作为示例，计算设备120可以利用标志线检测模型来确定标志线115(停止标志线115-1和车道标志线115-2)，可以在掩码图像中将被确定为停止标志线115-1和车道标志线115-2的点标记为白色，而将其他点标记为黑色，从而形成掩码图像。As shown in FIG. 3, at
例如，图4示出了将三维位置投影到第一图像的示意图400。如图4所示，停止标志线115-1和车道标志线115-2被示出为图4中的斜线区域。For example, FIG. 4 shows a schematic diagram 400 of projecting a three-dimensional position to a first image. As shown in FIG. 4 , the stop marker line 115 - 1 and the lane marker line 115 - 2 are shown as hatched areas in FIG. 4 .
在一些实施例中，计算设备120可以在获取第一图像前对相机105进行内参数标定。内参数是指与成像设备自身特性相关的参数。以相机为例，内参数是指比如焦距、像素大小等参数。在一些实施例中，相机105可以经畸变校正后捕获该第一图像。在一些实施例中，相机105可以经内参数标定和畸变校正后捕获该第一图像。由此可以有利于提高相机的外参数标定的准确性。In some embodiments,
在框304，计算设备120可以从掩码图像中确定与位于参考线上的点相对应的区域的中心线。在一些实施例中，计算设备120例如可以利用骨骼提取模型来确定被标记为标志线115的区域的中心线。At
在框306，计算设备120可以基于中心线确定第一点集合。在一些实施例中，计算设备120利用可以对所确定的中心线进行采样，以确定中心线上的多个点，以构成第一点集合。例如，如图4所示，计算设备120可以确定与标志线115所对应的多个点405(在图4中被示出为黑色实心点)，所标识的多个点405构成第一点集合。At
在一些实施例中，计算设备120还可以基于参考线在三维地图中的位置信息，从第一图像中确定第二点集合。在一些实施例中，三维地图可以由地图数据采集车来采集环境100相关的信息并且基于这样的信息而生成。例如，针对没有GPS信号的场景，可以通过即时定位与地图构建(SLAM)方法，让采集车从室外有GPS信号的位置驶入该场景，利用车载激光雷达、摄像头以及环视影像采集系统来采集道路环境信息，之后进行识别和融合，以将采集到的数据叠加在一起，生成三维地图。应理解到，可以通过其它任意合适方式来生成三维地图，本申请对三维地图的生成方式并不做任何限制。In some embodiments,
根据本公开的一些实施例，计算设备120可以从三维地图确定与参考线对应的位置信息。例如，计算设备120可以确定停止标志线115-1和车道标志线115-2在三维地图中的位置信息，这样的位置信息例如可以被表示为一组三维坐标点。According to some embodiments of the present disclosure, the
在一些实施例中，计算设备120可以获取相机105的初始外参数。在一些实施例，初始外参数例如可以是在安装相机105时所确定的，其至少可以指示相机105在世界坐标系中的位置和角度。在一些实施例中，初始外参数例如也可以是上次标定相机105所确定的外参数。In some embodiments,
在一些实施例中，计算设备120可以基于初始外参数和参考线在三维地图中的位置信息，确定第一图像中的第二点集合。在一些实施例中，计算设备120可以基于初始外参数和相机105已知的内参数，而将位置信息所对应的一组三维坐标点投影到第一图像所对应的图像坐标系或像素坐标系中，从而获得第二点集合。In some embodiments,
例如，如图4所示，基于参考线(例如，标志线115)在三维地图中的位置信息，计算设备120可以确定与位置信息所对应一组三维坐标点在第一图像中的投影点410(在图4中被示出为空心点)。该组投影点410构成了第二点集合。应当理解，第二点集合例如可以仅考虑落在第一图像的范围内的点。例如，由于三维地图中车道标志线115-2的距离较长，某些点可能被投影到第一图像外的点，这些点可以不被加入到第二点集合中。For example, as shown in FIG. 4 , based on the position information of the reference line (eg, the marker line 115 ) in the three-dimensional map, the
在一些实施例中，计算设备120可以基于第一点集合与第二点集合的匹配来确定相机105的针对第一图像的第一外参数。以下将参考图5来描述框202的具体过程。图5示出了根据本公开实施例的确定第一外参数的过程的流程图。In some embodiments,
如图5所示，在框502，计算设备120可以确定第一点集合和第二点集合的距离，其中该距离基于第二点集合中的点与第一点集合中的对应点之间的距离而确定。在一些实施例中，计算设备120可以从第一点集合中确定与第二点集合中的每个投影点相对应的临近点，其中临近点表示第一点集合中与投影点距离最近的点。例如，对于图4的示例，与投影点410最近的临近点为点405。As shown in FIG. 5, at
计算设备120随后可以确定第二点集合中的每个点与对应的临近点的距离。在一些实施例中，计算设备120例如可以将所有距离的总和确定作为第一点集合和第二点集合的距离。在一些实施例中，计算设备120例如还可以将所有距离的平均值确定作为第一点集合和第二点集合之间的距离。
在框504，根据第一点集合和第二点集合的距离大于预定的阈值的确定，计算设备120可以调整相机105的初始外参数。在一些实施例中，在一些实施例中，计算设备120可以基于最小重投影误差方法来调整相机105的初始外参数。具体地，计算设备120可以确定所述距离关于所述外参数的雅可比(Jacobi)矩阵，例如该雅可比矩阵可以表示为：At
其中e表示第二点集合中的投影点与对应的临近点的距离，δξ表示位姿在李代数下的表示，其中X、Y、Z表示投影点在世界坐标系中的坐标，X’、Y’、Z’表示经位姿变换后在相机坐标系中的位置，fx、fy表示相机105的内参数，由此可见，雅可比矩阵给出了距离关于位姿的导数。计算设备120进一步可以基于所确定的雅克比矩阵来调整相机105的初始外参数。Where e represents the distance between the projected point in the second point set and the corresponding adjacent point, δξ represents the representation of the pose in Lie algebra, where X, Y, Z represent the coordinates of the projected point in the world coordinate system, X', Y', Z' represent the position in the camera coordinate system after pose transformation, and fx and fy represent the internal parameters of the
在框506，计算设备120可以基于经调整的外参数确定经更新的第二点集合。应当理解，计算设备120可以利用经调整的外参数和相机105的内参数来将三维地图中与参考线对应的一组三维坐标点投影到第一图像中，以获得经更新的第二点集合。At
在框508，计算设备120可以确定所述第一点集合与所述经更新的第二点集合的距离小于或等于第一阈值距离。响应于在框508确定距离仍大于第一阈值距离，则方法可以进行到框504，继续调整外参数，即进入下一次迭代。响应于在框508确定距离小于或等于第一阈值距离时，则方法可以进行到框510，即计算设备120可以将经调整的外参数确定为相机105的针对第一图像的第一外参数。At
在一些实施例中，迭代的终止条件也可以被设置为当迭代达到预定的次数即终止迭代。也即，当第一点集合与第二点集合的距离大于预定的阈值时，计算设备120例如可以基于雅可比矩阵来调整初始的外参数直到调整的次数达到预定的次数阈值。计算设备120可以将迭代终止时所调整的初始外参数确定为相机105的外参数。In some embodiments, the termination condition of the iteration can also be set to terminate the iteration when the iteration reaches a predetermined number of times. That is, when the distance between the first point set and the second point set is greater than a predetermined threshold, the
在一些实施例中，计算设备120也可以通过姿态搜索的方法来调整相机105的初始外参数。具体地，计算设备120可以通过搜索外参数所对应的六个自由度，即相机的安装位置的三维坐标以及相机的角度(俯仰角、偏航角和翻滚角)，并搜索可能的解空间中使得第一点集合和第二点集合距离最近的外参数。In some embodiments, the
在一些实施例中，如上文所描述的，参考线可以包括在世界坐标系中两条相交的线。基于上文的最小重投影误差方法或者姿态搜索的方法可以确定最优的外参数。In some embodiments, as described above, the reference line may comprise two intersecting lines in the world coordinate system. The optimal extrinsic parameters can be determined based on the minimum reprojection error method or the pose search method above.
在一些实施例中，参考线例如可以仅包括一条线，例如，仅包括车道标志线115-2，在这种情况下，仅基于车道标志线115-2在三维地图中的位置信息和二维地图中的对应点可能无法获得唯一的外参数。在该实施例中，计算设备120可以利用已知位置的参考点作为另一约束来求解最优的外参数。具体地，计算设备120在确定外参数时，可以在满足将已知世界坐标系中的绝对位置的参考点匹配到第一图像中的参考点的前提下，通过最小冲投影误差或姿态搜索使得参考点所对应的第一点集合和第二点集合的距离小于预定的阈值，从而获得最优的外参数。应当理解，参考点可以是任何已知世界坐标的点，例如，已知位置的交通标志、已知位置的喷涂的参考点、或者其他任何已知位置的参考物。In some embodiments, the reference line may include, for example, only one line, eg, only the lane marking 115-2, in which case, it is based only on the location information of the lane marking 115-2 in the three-dimensional map and the two-dimensional Corresponding points in the map may not get unique extrinsic parameters. In this embodiment,
继续参考图2，在框204，计算设备120获取相机105的第二外参数，其中第二外参数基于相机105先前捕获的第二图像而被确定。在一些实施例中，例如，第二图像可以是第一图像的前一帧图像。在一些实施例中，第二图像也可以是早于第一图像特定帧数的图像。应当理解，可以基于参考框202描述的过程来确定针对第二图像的第二外参数。所确定的第二外参数例如可以被存储在存储装置中，计算设备120可以从该存储装置中获取针对第二图像的第二外参数。With continued reference to FIG. 2 , at
在框206，计算设备120基于第二外参数和位置信息，从第一图像中确定第三点集合。在一些实施例中，计算设备120可以基于所获取的第二外参数和相机105已知的内参数，而将位置信息所对应的一组三维坐标点投影到第一图像所对应的图像坐标系或像素坐标系中，从而获得第三点集合。At
在框208，计算设备120基于第一点集合、第二点集合以及第三点集合，从第一外参数和第二外参数中确定与第一图像相对应的外参数。以下将结合图6来描述框208的具体过程，图6示出了根据本公开实施例的确定与第一图像对应的外参数的方法的过程。At
如图6所示，在框602，计算设备120可以基于第一点集合和第二点集合确定针对第一外参数的第一评价度量。在一些实施例中，第一评价度量可以指示第一点集合与第二点集合的距离。如上文所讨论的，计算设备120可以确定第二点集合中的每个点与对应的临近点的距离。在一些实施例中，计算设备120例如可以将所有距离的总和确定作为第一点集合和第二点集合的距离。在一些实施例中，计算设备120例如还可以将所有距离的平均值确定作为第一点集合和第二点集合之间的距离。应当理解，当总距离越大时，其表示该外参数并不能够很好地反映相机当前的位姿，因此第一评价度量可以被较小地设置，例如被设置为与总距离成反比的数值(例如总距离的倒数)。As shown in FIG. 6, at
在一些实施例中，第一评价度量还可以指示第一点集合和第二点集合中匹配点对的数目，其中匹配点对中的点与另一点的距离小于第二阈值距离。第二集合中的点与第一集合中对应的临近点可以被称为匹配点对。当匹配的点数越多时，其表示该外参数能够较好地反映相机当前的位姿，因此，第一评价度量可以被较高的设置。In some embodiments, the first evaluation metric may also indicate the number of matching point pairs in the first set of points and the second set of points, wherein a point in the matching point pair is less than a second threshold distance from another point. Points in the second set and corresponding adjacent points in the first set may be referred to as matched point pairs. When the number of matching points is more, it means that the external parameter can better reflect the current pose of the camera, therefore, the first evaluation metric can be set higher.
在一些实施例中，第一评价度量例如还可以指示第一点集合与第二点集合的距离和第一点集合和第二点集合中匹配点对的数目两者。例如，第一评价度量可以被取值为基于距离确定的值和基于匹配点对的数目确定的值的加权和。In some embodiments, the first evaluation metric may also indicate, for example, both the distance of the first set of points and the second set of points and the number of matching point pairs in the first set of points and the second set of points. For example, the first evaluation metric may be taken as a weighted sum of a value determined based on the distance and a value determined based on the number of matching point pairs.
在框604，计算设备120可以基于第一点集合和第三点集合，确定针对第二外参数的第二评价度量。类似地，第二评价度量可以指示以下中的至少一项：第一点集合与第三点集合的距离，或者第一点集合和第三点集合中匹配点对的数目。At
在框606，计算设备120可以确定第一评价度量与第二评价度量的差异是否小于第一阈值。当在框606确定第一评价度量与第二评价度量的差异小于第一阈值，则方法进行到框608，即计算设备120可以将第二外参数确定为与第一图像相对应的外参数。相反，当在框606确定第一评价度量与第二评价度量的差异大于或等于第一阈值，则方法进行到框610，即计算设备120可以将第一外参数确定为与第一图像相对应的外参数。At
以第一评价度量指示距离作为示例，当基于第一外参数确定的距离大于基于第二外参数确定的距离时，计算设备120可以确定第一外参数并没有优于第二外参数，因此计算设备120可以继续使用基于先前的第二图像所确定的第二外参数作为相机105的针对当前的第一图像的外参数。在一些实施例中，基于第一外参数确定的距离虽然小于基于第二外参数确定的距离，但两者的差异小于第一阈值时，计算设备120为了避免输出的外参数不平滑，而继续使用基于先前的第二图像所确定的第二外参数。Taking the distance indicated by the first evaluation metric as an example, when the distance determined based on the first extrinsic parameter is greater than the distance determined based on the second extrinsic parameter, the
类似地，以第一评价度量指示匹配数目作为示例，只有在基于第一外参数确定的匹配点对的数目远优于基于第二外参数确定的匹配点对的数目时，计算设备120才将第一外参数确定作为针对第一图像的外参数。Similarly, taking the number of matches indicated by the first evaluation metric as an example, the
在一些实施例中，计算设备120还可以仅在第一外参数确定的距离远小于基于第二外参数确定的距离、且基于第一外参数确定的匹配点对的数目远优于基于第二外参数确定的匹配点对的数目时，计算设备120才将第一外参数确定作为针对第一图像的外参数。In some embodiments, the
基于上文所述的方法，本公开的实施例避免所输出的相机外参数变化过大，进而在保证输出外参数质量的情况下，还能够使得输出的相机外参数更为平滑。Based on the methods described above, the embodiments of the present disclosure avoid excessive changes in the output extrinsic parameters, and further enable the output extrinsic parameters to be smoother while ensuring the quality of the output extrinsic parameters.
在一些实施例中，计算设备120还可以进一步将所确定的外参数与相机105的默认外参数进行比较，以确定是否采用默认外参数。图7示出了根据本公开的一些实施例的更新外参数的示例方法700的流程图。In some embodiments,
如图7所示，在框702，计算设备120可以基于相机105的默认外参数和位置信息，从第一图像中确定第四点集合。在一些实施例中，相机105的默认外参数可以是在安装相机105时所确定的，其至少可以指示相机105在世界坐标系中的位置和角度。在一些实施例中，计算设备120可以基于默认外参数和相机105已知的内参数，而将位置信息所对应的一组三维坐标点投影到第一图像所对应的图像坐标系或像素坐标系中，从而获得第四点集合。As shown in FIG. 7 , at
在框704，计算设备120可以基于第一点集合和第四点集合，确定针对默认外参数的第三评价度量。在一些实施例中，第三评价度量指示以下中的至少一项：第一点集合与第四点集合的距离，或者第一点集合和第四点集合中匹配点对的数目。应当理解，可以参考上文关于框602所描述的过程来确定针对默认外参数的第三评价度量。At
在框706，计算设备120从第一评价度量和第二评价度量中确定针对经确定的外参数的第四评价度量。具体地，计算设备120可以获取基于方法200所确定的外参数是第一外参数还是第二外参数，从而确定与所确定的外参数对应的第四评价度量(第一评价度量或第二评价度量)。At
在框708，计算设备120可以确定第四评价度量与第三评价度量的差异是否小于第二阈值。当在框708确定第四评价度量与第三评价度量的差异大于或等于第二阈值，则方法进行到框710，即计算设备120可以利用相机105的默认外参数更新经确定的外参数。例如，当所确定的外参数没有明显优于或者甚至差于离线外参数时，考虑到在安装相机105所确定的默认外参数时经过严格测量的，因此计算设备120可以使用相机105的默认外参数来代替所确定的外参数，从而避免因为某些错误导致所确定的外参数误差过大。At
相反，当在框708确定第四评价度量与第三评价度量的差异小于第二阈值，则计算设备120可以继续使用所确定的外参数(图中未示出)。Conversely, when it is determined at
在一些实施例中，计算设备120还可以通过用于确定外参数的匹配点对的数目来避免因为参考线的遮挡而导致所计算的外参数误差过大。图8示出了根据本公开的另一些实施例的更新外参数的示例方法800的流程图。In some embodiments, the
如图8所示，在框802，计算设备120可以确定第一点集合中用于确定经确定的外参数的点的数目。具体地，当基于方法200选择的外参数为第一外参数时，计算设备120可以确定该数目为第一点集合和第二点集合的匹配点对的数目。相反，当基于方法200选择的外参数为第二外参数时，计算设备120可以确定该数目为第一点集合和第三点集合的匹配点对的数目。As shown in FIG. 8, at
在框804，计算设备120可以确定该数目是否小于预定的数目阈值。当在框804确定该数目小于预定的数目阈值时，则方法800可以进行到框806，即计算设备120可以利用相机的默认外参数更新经确定的外参数。在一些实施例中，该数目阈值可以是基于历史的图像帧确定外参数时所使用的匹配点对的数目而确定的。例如，该数目阈值可以被设置为一定时间内历史的图像帧中用于确定外参数的匹配点对的数目的最大值。At
在一些实施例中，当该数目过小时，其表示用于确定该外参数的匹配点的数目过低，也即，可能存在参考线被遮挡的情形，在这种情况下，计算设备120可以使用相机105的默认外参数来代替所确定的外参数，从而避免因为某些错误导致所确定的外参数误差过大。In some embodiments, when the number is too small, it indicates that the number of matching points used to determine the extrinsic parameter is too low, that is, there may be a situation where the reference line is occluded, in this case, the
相反，当在框804确定该数目大于或等于预定的数目阈值，则计算设备120可以继续使用所确定的外参数(图中未示出)。Conversely, when it is determined at
在一些实施例中，由相机105捕获的第一图像还可以用于障碍物检测。应当理解，障碍物检测和上文所描述的相机标定过程例如可以利用不同的线程而并行地进行，从而提高处理效率。在一些实施例中，当从第一图像检测到障碍物时，计算设备120可以确定第一图像中与障碍物所对应的区域。应当理解，障碍物可以包括任何的动态障碍物，例如，车辆、行人、或动物等，障碍物也可以包括任何的静态障碍物。本公开不旨在对障碍物的类型进行任何的限定。In some embodiments, the first image captured by the
进一步地，计算设备120可以基于所确定的外参数和该区域，确定障碍物在世界坐标系中的位置。具体地，计算设备120可以利用相机已知的内参数和经确定的外参数，实现该区域从图像坐标系到世界坐标系的转换。Further, the
在一些实施例中，计算设备120还可以提供障碍物在世界坐标系中的位置。例如，计算设备120可以向周边的车辆(例如，车辆110)广播关于道路102的障碍物信息，从而为车辆的自动驾驶决策提供基础。在一些实施例中，计算设备120还可以基于所确定的外参数例如确定车辆110的位置，并将该位置发送至车辆110以实现车辆110的定位。In some embodiments,
应当理解，虽然本公开的方法参考路测相机的示例来进行描述，但是应当理解，这样的环境仅是示意性的，本公开的方法还可以用于例如位于其他位置的相机(例如，安装在车辆上的相机的初始标定)的标定。本公开不旨在对相机所安装的位置进行任何的限定。It should be understood that although the method of the present disclosure is described with reference to the example of a drive test camera, it should be understood that such an environment is merely illustrative and that the method of the present disclosure may also be used, for example, with cameras located in other locations (eg, mounted in Initial calibration of the camera on the vehicle). This disclosure is not intended to place any limitation on the location where the camera is mounted.
本公开的实施例还提供了用于实现上述方法或过程的相应装置。图9示出了根据本公开的一些实施例的相机标定的装置900的示意性结构框图。该装置900可以在例如图1的计算设备120处实施。Embodiments of the present disclosure also provide corresponding apparatuses for implementing the above-mentioned methods or processes. FIG. 9 shows a schematic structural block diagram of an
如图9所示，装置900可以包括第一外参数确定模块910，被配置为基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和第一图像中基于参考线在三维地图中的位置信息确定的第二点集合，确定相机的第一外参数，第一外参数指示相机坐标系与世界坐标系的转换关系。装置900还可以包括第二外参数获取模块920，被配置为获取相机的第二外参数，第二外参数基于相机先前捕获的第二图像而被确定。此外，装置900还可以包括第三点集合确定模块930，被配置为基于第二外参数和位置信息，从第一图像中确定第三点集合。装置900还可以包括第一外参数选择模块940，被配置为基于第一点集合、第二点集合以及第三点集合，从第一外参数和第二外参数中确定与第一图像相对应的外参数。As shown in FIG. 9 , the
在一些实施例中，第一外参数确定模块910包括：第一调整模块，被配置为响应于第一点集合与第二点集合的距离大于预定的阈值，调整相机的初始外参数，其中距离基于第二点集合中的点与第一点集合中的对应点之间的距离而确定；更新模块，被配置为基于经调整的初始外参数确定经更新的第二点集合；以及第一外参数输出模块，被配置为响应于第一点集合与经更新的第二点集合的距离小于或等于第一阈值距离，将经调整的初始外参数确定为相机的第一外参数。In some embodiments, the first extrinsic
在一些实施例中，第一调整模块包括：雅可比矩阵确定模块，确定距离关于外参数的雅可比矩阵；以及第二调整模块，被配置为基于雅可比矩阵调整初始外参数。In some embodiments, the first adjustment module includes: a Jacobian matrix determination module that determines a Jacobian matrix of distances with respect to the extrinsic parameter; and a second adjustment module configured to adjust the initial extrinsic parameter based on the Jacobian matrix.
在一些实施例中，第一外参数选择模块940包括：第一评价度量确定模块，被配置为基于第一点集合和第二点集合，确定针对第一外参数的第一评价度量；第二评价度量确定模块，被配置为基于第一点集合和第三点集合，确定针对第二外参数的第二评价度量；以及第二外参数选择模块，被配置为响应于第一评价度量与第二评价度量的差小于第一阈值，将第二外参数确定为与第一图像相对应的外参数。In some embodiments, the first extrinsic
在一些实施例中，其中第一评价度量指示以下中的至少一项：第一点集合与第二点集合的距离，或者第一点集合和第二点集合中匹配点对的数目，其中匹配点对中的点与另一点的距离小于第二阈值距离。In some embodiments, wherein the first evaluation metric indicates at least one of: the distance of the first set of points from the second set of points, or the number of matching point pairs in the first set of points and the second set of points, where matching A point in a point pair is less than a second threshold distance from the other point.
在一些实施例中，第一外参数选择模块940还包括：第三外参数选择模块，响应于第一评价度量与第二评价度量的差大于或等于第一阈值，将第一外参数确定为与第一图像相对应的外参数。In some embodiments, the first extrinsic
在一些实施例中，装置900还包括：第四点集合确定模块，被配置为基于相机的默认外参数和位置信息，从第一图像中确定第四点集合；第三评价度量确定模块，被配置为基于第一点集合和第四点集合，确定针对默认外参数的第三评价度量，第三评价度量指示以下中的至少一项：第一点集合与第四点集合的距离，或者第一点集合和第四点集合中匹配点对的数目；第四评价度量确定模块，被配置为从第一评价度量和第二评价度量中确定针对经确定的外参数的第四评价度量；以及第一外参数更新模块，被配置为响应于第四评价度量与第三评价度量的差异大于或等于第二阈值，利用相机的默认外参数更新经确定的外参数。In some embodiments, the
在一些实施例中，装置900还包括：数目确定模块，被配置为确定第一点集合中用于确定经确定的外参数的点的数目；以及第二外参数更新模块，被配置为响应于数目小于预定的数目阈值，利用相机的默认外参数更新经确定的外参数。In some embodiments, the
在一些实施例中，装置900还包括：区域确定模块，被配置为响应于从第一图像检测到障碍物，确定第一图像中与障碍物对应的区域；以及位置确定模块，被配置为基于外参数和区域，确定障碍物在世界坐标系中的位置。In some embodiments,
在一些实施例中，装置900还包括：提供模块，被配置为提供障碍物的位置。In some embodiments, the
装置900中所包括的单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置900中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。The units included in the
图9中所示的这些单元可以部分或者全部地实现为硬件模块、软件模块、固件模块或者其任意组合。特别地，在某些实施例中，上文描述的流程、方法或过程可以由存储系统或与存储系统对应的主机或独立于存储系统的其它计算设备中的硬件来实现。The units shown in FIG. 9 may be partially or fully implemented as hardware modules, software modules, firmware modules, or any combination thereof. In particular, in some embodiments, the procedures, methods or processes described above may be implemented by hardware in a storage system or a host corresponding to the storage system or other computing device independent of the storage system.
图10示出了可以用来实施本公开的实施例的示例设备1000的示意性框图。设备1000可以用于实现计算设备120。如图所示，设备1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序指令或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序指令，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。10 shows a schematic block diagram of an
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。Various components in the
处理单元1001执行上文所描述的各个方法和处理，例如方法200、300、700和/或800。例如，在一些实施例中，方法200、300、700和/或800可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由CPU 1001执行时，可以执行上文描述的方法200、300、700和/或800的一个或多个步骤。备选地，在其他实施例中，CPU 801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200、300、700和/或800。The
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。Program code for implementing the methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer or other programmable data processing apparatus, such that the program code, when executed by the processor or controller, performs the functions/functions specified in the flowcharts and/or block diagrams. Action is implemented. The program code may execute entirely on the machine, partly on the machine, partly on the machine and partly on a remote machine as a stand-alone software package or entirely on the remote machine or server.
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。In the context of the present disclosure, a machine-readable medium may be a tangible medium that may contain or store a program for use by or in connection with the instruction execution system, apparatus or device. The machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. Machine-readable media may include, but are not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, devices, or devices, or any suitable combination of the foregoing. More specific examples of machine-readable storage media would include one or more wire-based electrical connections, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), fiber optics, compact disk read only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination of the foregoing.
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。Additionally, although operations are depicted in a particular order, this should be understood to require that such operations be performed in the particular order shown or in a sequential order, or that all illustrated operations should be performed to achieve desirable results. Under certain circumstances, multitasking and parallel processing may be advantageous. Likewise, although the above discussion contains several implementation-specific details, these should not be construed as limitations on the scope of the present disclosure. Certain features that are described in the context of separate embodiments can also be implemented in combination in a single implementation. Conversely, various features that are described in the context of a single implementation can also be implemented in multiple implementations separately or in any suitable subcombination.
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。Although the subject matter has been described in language specific to structural features and/or logical acts of method, it is to be understood that the subject matter defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are merely example forms of implementing the claims.
Claims (22)
Translated fromChinesePriority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911001867.8ACN110766760B (en) | 2019-10-21 | 2019-10-21 | Method, device, equipment and storage medium for camera calibration |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911001867.8ACN110766760B (en) | 2019-10-21 | 2019-10-21 | Method, device, equipment and storage medium for camera calibration |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110766760A CN110766760A (en) | 2020-02-07 |
| CN110766760Btrue CN110766760B (en) | 2022-08-02 |
Family
ID=69332809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911001867.8AActiveCN110766760B (en) | 2019-10-21 | 2019-10-21 | Method, device, equipment and storage medium for camera calibration |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110766760B (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462251B (en)* | 2020-04-07 | 2021-05-11 | 深圳金三立视频科技股份有限公司 | Camera calibration method and terminal |
| CN112771577A (en)* | 2020-05-28 | 2021-05-07 | 深圳市大疆创新科技有限公司 | Camera parameter determination method, device and readable storage medium |
| CN112381876B (en)* | 2021-01-18 | 2021-04-16 | 中智行科技有限公司 | Traffic sign marking method and device and computer equipment |
| CN113284194B (en)* | 2021-06-22 | 2024-06-11 | 智道网联科技(北京)有限公司 | Calibration method, device and equipment of multiple RS equipment |
| CN113409405B (en)* | 2021-07-19 | 2024-07-05 | 江苏普衡诺信息科技有限公司 | Method, device, equipment and storage medium for evaluating camera calibration position |
| CN117274392A (en)* | 2022-06-13 | 2023-12-22 | 华为技术有限公司 | Camera internal parameter calibration methods and related equipment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862719A (en)* | 2017-11-10 | 2018-03-30 | 未来机器人（深圳）有限公司 | Scaling method, device, computer equipment and the storage medium of Camera extrinsic |
| CN109379521A (en)* | 2018-11-30 | 2019-02-22 | Oppo广东移动通信有限公司 | Camera calibration method, device, computer equipment and storage medium |
| CN109523597A (en)* | 2017-09-18 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | The scaling method and device of Camera extrinsic |
| CN110135376A (en)* | 2019-05-21 | 2019-08-16 | 北京百度网讯科技有限公司 | Method, device and medium for determining coordinate system conversion parameters of image sensor |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9930315B2 (en)* | 2015-04-29 | 2018-03-27 | Lucid VR, Inc. | Stereoscopic 3D camera for virtual reality experience |
- 2019
- 2019-10-21CNCN201911001867.8Apatent/CN110766760B/enactiveActive
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523597A (en)* | 2017-09-18 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | The scaling method and device of Camera extrinsic |
| CN107862719A (en)* | 2017-11-10 | 2018-03-30 | 未来机器人（深圳）有限公司 | Scaling method, device, computer equipment and the storage medium of Camera extrinsic |
| CN109379521A (en)* | 2018-11-30 | 2019-02-22 | Oppo广东移动通信有限公司 | Camera calibration method, device, computer equipment and storage medium |
| CN110135376A (en)* | 2019-05-21 | 2019-08-16 | 北京百度网讯科技有限公司 | Method, device and medium for determining coordinate system conversion parameters of image sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110766760A (en) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766760B (en) | Method, device, equipment and storage medium for camera calibration | |
| CN110751693B (en) | Method, apparatus, device and storage medium for camera calibration | |
| CN110378965B (en) | Method, device and equipment for determining coordinate system conversion parameters of road side imaging equipment | |
| AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
| TWI722355B (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
| CN110766761B (en) | Methods, devices, equipment and storage media for camera calibration | |
| CN108692719B (en) | Object detection device | |
| CN110119698B (en) | Method, apparatus, device and storage medium for determining the state of an object | |
| JP5588812B2 (en) | Image processing apparatus and imaging apparatus using the same | |
| CN110148185A (en) | Determine method, apparatus, electronic equipment and the storage medium of coordinate system conversion parameter | |
| CN108802785A (en) | Vehicle method for self-locating based on High-precision Vector map and monocular vision sensor | |
| US10996337B2 (en) | Systems and methods for constructing a high-definition map based on landmarks | |
| CN110147382A (en) | Lane line update method, device, equipment, system and readable storage medium storing program for executing | |
| CN110728720B (en) | Method, apparatus, device and storage medium for camera calibration | |
| CN112700486B (en) | Method and device for estimating depth of road surface lane line in image | |
| CN114140533B (en) | Camera extrinsic parameter calibration method and device | |
| CN116403186B (en) | FPN Swin Transformer and Pointnet ++ based automatic driving three-dimensional target detection method | |
| JP2017181476A (en) | Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection | |
| KR20240022986A (en) | METHODS AND APPARATUS FOR ESTIMATION OF THE DISTANCE OF THE OBJECTS IN EUCLIDEAN SPACE USING FUSION OF CAMERA POSE INFORMATION and SCENE PRIOR INFORMATION'S AND THEREOF | |
| CN109949355A (en) | A Method of Establishing Half-sector Isometric Line Model in Monocular Vision Pedestrian Distance Estimation | |
| WO2022133986A1 (en) | Accuracy estimation method and system | |
| CN115597498A (en) | A Method for Positioning and Velocity Estimation of Unmanned Aerial Vehicle | |
| CN116358499A (en) | Vehicle positioning system | |
| CN117953046A (en) | Data processing method, device, controller, vehicle and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |