具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
名词解释：
PnP：Perspective-n-Point，PnP算法。
SAM：segment anything model，图像分割大模型。
SFM：switch fabric module，交叉矩阵结构，由多条的channel水平和垂直交错而成。
TAM：track anything model，追踪模型。
XMem：基于Atkinson-Shiffrin记忆模型的长期视频对象分割架构。
ICP：Iterative Closest Point，匹配算法是点云配准（Point CloudRegistration）的一种方法。
MLP：Multilayer Perceptron，多层感知机。
本申请致力于开发一种基于三维表型建模的植物图像处理方法，通过首次应用3DGaussian Splatting（高斯泼溅）技术，实现了对植物全方位精细化三维可视化建模的突破。面对传统高斯重建技术在处理复杂背景时的限制，引入了SAM(Segment AnythingModel)+长视频分割XMem算法，从而实现了从图像序列中精准分割目标植物轮廓的目标。此外，针对高斯渲染结果的不可直接测量性问题，采用了一种新型的面片化方式，将单个植株的图像处理结果转化为可直接测量的面片化数据，为植物表型的精确三维重建提供了新的技术途径。
在开展本申请的方案说明之前，具体说明本申请的方案思路：
对任何时间、任何地点的植物三维数字可视化的探索主要分为四个步骤进行：植物图像采集和背景分割，相机位姿估计和稀疏点云重建，数字植物可视化渲染，以及面片结果提取，如图2所示。为了保证实验可以在任何时间地点对任何植物进行，基于改进的trackanything model（TAM）的方式（SAM+XMem），引入了多尺度特征融合方法，将不同视角下的植物图像流分别输入模型作为不同的prompt（特征），以精细化分割全方位植物前景。对分割之前的结果，基于SFM的方法进行稀疏点云重建和相机位姿估计，以保证初始点云和相机位姿的精确性。接着，将稀疏点云、相机位姿、植物前景图像输入到高斯模型中进行高斯泼溅，经过tiled-based rasterizer得到极接近真实的三维植物渲染结果。最后，为了方便传统的植物三维点云可测量，对三维植物渲染结果进行二次重训练和面片分配，得到植物可测量的植物三维网格面片图像。
另外本申请的方案，在Ubuntu 20.4操作系统下进行，处理器型号为Intel(R)Core (TM) i5-13500HX CPU @ 2.50 GHz，显卡为Nvidia GeForce RTX 3090。深度学习框架采用PyTorch 2.0，编程平台为PyCharm，编程语言为Python 3.10，所有对比算法均在相同环境下运行。数据采集和图像处理编程语言为C++，采用QT 6.5.1设计界面，采用OpenCV4.7.0处理图像，程序调试平台为Visual Studio 2022。
在本实施例的方案进行植物图像的处理之前，对于植物图像的采集具体包括：
对室内盆栽、室外盆栽和室外大田三种环境，早晨、正午、夜晚三个时间段，对多种植物进行图像数据采集，如图3所示。采集过程包括两个阶段：初步的植物表面粗采集，和针对植物不同部位（如冠层、侧面和底部）的细致形态采集。采用不同品牌手机进行图像采集，确保植物图像的多样性。
所采集的植物包括：不同生长期下的小麦，不同生长期下的烟草，玉米，以及各类室内盆栽。其中，烟草图像于2023年6月到7月期间，选取三个生长期下的3个植物，共计9组，在10点到15点时间段内进行采集，采集地点为陕西杨凌，实验场景为室外大田；玉米图像于2024年1月到2月期间采集，共计N组，采集地点为海南三亚，实验场景包括室外和室内；各类室内盆栽图像于2023年8月到2024年5月期间采集，共计N组，采集地点包括海南三亚、江苏泰州和陕西杨凌，实验场景为室内；小麦为重点研究对象，图像包括三页期、抽穗期、开花期和成熟期，共计N组，采集地点为陕西杨凌，实验场景包含室内盆栽、室外盆栽和室外田间。
为保证实验普适性，采集设备为手机、相机、平板或者其他带有摄像头的电子设备。视频分辨率为2k以下任意分辨率，帧数为30或60Hz。采集植物视频后，对视频进行预处理，包括视频拼接、图像抽帧，并删除模糊图像。
以下结合附图来详细说明本申请的实施例。
本申请实施例的基于三维表型建模的植物图像处理方法，如图1所示，包括：
步骤101，对植物在多个视角下的初始图像序列进行特征提取处理，得到提取后的特征点。
步骤102，确定所述特征点对应的相机位置，并利用三角测量法根据所述相机位置对相应的特征点进行处理，得到植物的稀疏点云数据。
步骤103，将多个视角下的初始图像序列输入至追踪网络中的SAM模型中，利用SAM模型对每个视角下的初始图像序列进行前景分割处理，得到初始分割植物前景数据。
步骤104，对每个视角下的所述初始分割植物前景数据，利用对应的初始图像进行边缘细化处理，得到与每个视角对应的中间分割植物前景。
步骤105，将各个视角对应的中间分割植物前景进行空间对齐处理，得到对齐后的特征数据。
步骤106，将所述对齐后的特征数据输入至所述追踪网络中，利用所述追踪网络中的相似性算法进行分析去除不完整的特征，得到各个视角的分割植物前景结果。
步骤107，根据所述稀疏点云数据确定初始高斯点，基于所述初始高斯点对各个视角的分割植物前景结果进行高斯重建和可视化渲染处理，得到各个视角的三维植物渲染结果。
步骤108，对每个视角的三维植物渲染结果进行网格化三维面片处理，生成与每个视角对应的植物三维网格面片图像，以供基于所述植物三维网格面片图像进行植物形态分析。
通过上述方案，一般相机采集的植物图像可能是多视角的，所以会将植物在多视角下的初始图像序列特征提取后，确定特征点的相机位置，进而便于根据相机位置利用三角测量法进行点云的确定，进而得到植物的稀疏点云数据；本方案引入了结合SAM模型进行改进的追踪网络，这样利用该追踪网络能够对各个视角下的初始图像序列进行前景分割，进而得到只有植物部分的初始分割植物前景数据，避免背景内容的干扰，为了提高初始分割植物前景数据的精准度会对其进行边缘细化，以及将各个视角进行空间对齐，将对齐后的特征数据再利用追踪网络去除不完整的特征，得到精准的各个视角的分割植物前景结果；对各个视角的分割植物前景结果通过高斯重建和可视化渲染处理，得到三维植物渲染结果，但是该三维植物渲染结果可能不能直接用于植物形态分析，需要将其进行网格化三维面片处理，得到每个视角下的植物三维网格面片图像，这样才能更好的基于所述植物三维网格面片图像进行植物形态分析。
在一些实施例中，步骤101包括：
步骤1011，确定各个视角对应的初始图像序列的灰度值。
具体实施时，首选是采集植物在特定场景下的各个视角的初始图像序列。其中特定场景可以是由不同地点和/或不同时间和/或不同植物形成的场景。
步骤1012，利用各个视角的尺度不变特征变换方式，使用高斯函数分别对相应视角的初始图像序列的灰度值进行特征提取，得到提取后的特征点。
采用全局的尺度不变特征变换（SIFT）对所有初始图像序列进行特征提取。SIFT算法能够在不同的尺度空间中寻找关键点，并计算出其方向和描述符，为后续的特征点匹配提供了可靠的基础。SIFT的特征提取表示如公式1所示。
，公式1。
其中，是在尺度下初始图像序列中像素点位置的灰度值，是高斯函数，用于模拟图像在不同尺度下的平滑效果，表示尺度空间中的特征点强度即提取后的特征点。
在一些实施例中，步骤102包括：
步骤1021，依据快速近邻搜索库对提取到的所述特征点，利用最小化欧氏距离的方式进行特征点匹配，得到特征点匹配结果。
具体实施时，基于FLANN (Fast Library for Approximate Nearest Neighbors)快速近邻搜索库的方法对提取到的特征点进行匹配，以估计相机位姿。特别地，将三组初始图像序列中的每一组图像进行两两之间的特征点匹配，但不跨组匹配，以保证匹配的准确性和效率。特征点匹配可以通过最小化特征点之间的欧式距离来实现，如公式2所示。
，公式2。
其中，分别表示两个特征点在各自初始图像序列中的位置，表示这两个点之间的距离。通过对所有特征点对计算距离并选择最小值，即可确定最佳的匹配对，得到特征点匹配结果。
步骤1022，基于所述特征点匹配结果利用PnP算法进行位姿匹配，确定所述特征点的相机位置。
具体实施时，通过特征点匹配结果，利用PnP (Perspective-n-Point)算法计算相机位置，如公式3所示。在已知一定世界坐标系中匹配点的位置下，可以较准确的计算出每个特征点对应的相机位置。
，公式3。
其中，（u，v）是图像坐标系中的点，K是相机内参矩阵，R和t分别表示相机相对于世界坐标系的旋转和平移。（X，Y，Z）是世界坐标系中的点，s是缩放因子。
步骤1023，根据所述相机位置和所述特征点的位置，利用三角测量法计算所述特征点在三维空间中的坐标，根据坐标确定植物的稀疏点云数据。
具体实施时，根据已知的相机位置和初始图像序列中的特征点的位置，通过三角测量法可以计算出特征点在三维空间中的坐标，从而获得稀疏点云数据（点云就是一系列空间三维点的集合）。
假设在两张初始图像序列中的图像中，有特征点和，以及相应的相机位姿和，通过求解以下方程组可以得到三维空间中的坐标：
，其中，和为缩放因子。
在一些实施例中，步骤103包括：
如图4所示的前景分割的流程示意图，根据输入视频确定初始图像序列，针对多个视角中的每个视角：
步骤1031，确定用户针对该视角下的初始图像序列的选定目标点，将所述选定目标点和该视角下的初始图像序列输入至追踪网络中的SAM模型中，进行图像标准化处理，得到标准化处理后的数据。
具体实施时，追踪网络（Track Anything Model ，TAM)是一种结合了最新最有效的图像分割大模型segment anything model(SAM)的视频分割模型。
将从该视角的初始图像序列抽帧得到的植物图像序列输入追踪网络。用户从植物图像序列选择一张特定视角下的植物图像，然后在植物图像的前景区域进行人工点选，选定目标点。这些选定的目标点和抽帧得到的植物图像序列一同输入到SAM模型中进行处理。
在Vision Transformer（视觉转换器）处理阶段，对输入的植物图像序列进行标准化处理。
步骤1032，利用SAM模型中的多头注意力机制对所述标准化处理后的数据进行残差连接和第二次标准化处理，得到二次标准化处理后的数据。
具体实施时，多头注意力机制使得SAM模型可以在不同的表示空间中并行处理植物图像，如公式4所示。
，公式4。
其中，Q，K，V分别为查询、键和值矩阵，是键向量的维度。
添加多头注意力机制后，进行残差连接和二次标准化处理，得到二次标准化处理后的数据。
步骤1033，利用SAM模型中的多层感知机MLP对所述二次标准化处理后的数据进行处理，将多层感知机MLP的输出结果与所述二次标准化处理后的数据相加形成残差连接，得到图像的嵌入结果。
具体实施时，SAM模型中的多头注意力机制连接多层感知机MLP，MLP由两个全连接层和一个ReLU激活函数组成，具体如公式5：
，公式5。
其中x为输入二次标准化处理后的数据的向量，W1为第一层权重矩阵，b1为第一层偏置向量；W2为第二层权重矩阵，b2为第二层偏置向量。
整个MLP的过程由两层全连接层和一个ReLu激活函数组成，全连接层包括权重矩阵和偏置向量。
第一层中，输入x通过权重矩阵W1进行加权求和，并加上偏置b1；计算结果通过ReLU激活函数进行非线性变换。
接着进入第二层，ReLU的输出结果通过第二层权重矩阵W2进行加权求和，并加上偏置b2。
MLP的输出会于与输入到MLP之前的结果相加，形成残差连接，以增强模型对植物不同尺度下的学习能力。
经过vision transformer阶段的深度特征提取后，生成图像的嵌入表示（imageembeddings）。
步骤1034，将所述选定目标点进行位置编码处理，得到位置编码结果。
将用户选择的选定目标点送入位置编码部分，帮助SAM模型理解前景部分特征的位置。位置编码采用正弦函数和余弦函数的变化，如公式6和公式7所示。
，公式6。
，公式7。
其中，pos为位置索引，i是维度索引，dmodel是编码的维度。
步骤1035，使用SAM模型中的自注意力机制根据所述图像的嵌入结果和所述位置编码结果，分析图像的各部分的关系，以及使用SAM模型中的交叉注意力机制根据所述图像的嵌入结果和所述位置编码结果，加强图像的特定部分与选定目标点之间的相关性。
在mask decoder（掩码解码）阶段，使用自注意力机制和交叉注意力机制来处理图像的嵌入结果和位置编码结果。自注意力机制帮助SAM模型更好地理解图像各部分之间的关系，而交叉注意力机制则用于加强图像特定部分与输入点之间的相关性，从而提高植物前景分割的准确性。
步骤1036，基于所述图像的各部分的关系和图像的特定部分与选定目标点之间的相关性，进行前景分割处理，得到初始分割植物前景数据。
基于改进的追踪网络，结合预训练的Segment Anything Model (SAM)和XMem视频追踪和分割算法，能够在任何场景下的连续的初始图像序列中准确地分割出植物的前景，显著提高前景分割的精度和效率。
如图5所示，为各个视角进行前景分割的流程示意图。
在一些实施例中，所述步骤104包括：
针对多个视角中的每个视角：
步骤1041，将该视角下的初始图像序列和初始分割植物前景数据输入至追踪网络中。
步骤1042，利用所述追踪网络中的XMem模型，根据初始分割植物前景数据进行半监督（VOS）处理，得到优化后的初始分割植物前景数据。
步骤1043，利用所述追踪网络中SAM模型，基于该视角下的初始图像序列对优化后的初始分割植物前景数据进行边缘细化处理，得到该视角对应的中间分割植物前景。
通过上述方案，能够完成对图像中植物的目标追踪的目的，进一步提高植物前景的分割效果。
在一些实施例中，步骤105包括：
步骤1051，针对各个视角对应的中间分割植物前景提取多尺度特征。
步骤1052，利用ICP配准算法依据所述多尺度特征，对各个视角的中间分割植物前景进行空间对齐，并将空间对齐后的中间分割植物前景进行特征加权平均处理，得到对齐后的特征数据。
其中，ICP匹配算法是点云配准（Point Cloud Registration）的一种方法，输入两幅点云，然后获得一个R&T矩阵，能使得一幅点云经过R&T变化后，能和另一幅点云重合度尽可能高。
然后执行步骤106中的“将所述对齐后的特征数据输入至所述追踪网络中，利用所述追踪网络中的相似性算法进行分析去除不完整的特征，得到各个视角的分割植物前景结果”完成前景分割的过程。
图6示出了进行高斯渲染以及面片提取的流程示意图。
在一些实施例中，步骤107包括：
步骤1071，根据所述稀疏点云数据确定初始高斯点，基于K-Means聚类算法对所述初始高斯点进行聚类均值处理，得到高斯点的均值结果。
具体实施时，从稀疏点云中即可获得初始高斯点。初始高斯点中每个高斯点的数学表示如公式8所示。
，公式8。
其中，x为稀疏点云数据的空间中的任意点，μ高斯分布的均值，即初始高斯点中每个高斯点的中心位置，为三维协方差矩阵，控制高斯分布的形状和方向。
针对输入的稀疏点云数据中包含背景和植物前景，为了提高后续植物前景渲染的效率，基于K-Means聚类初始化高斯点的均值μ假设输入的稀疏点云数据为，Pi为点云中的点，聚类中心为μj，则更新每个聚类中心如公式9所示。
，公式9。
其中，Cj是第j个聚类中的点集，是Cj中点的数量，为Cj中所有点的位置向量之和。
步骤1072，利用放缩变换和旋转变换矩阵确定初始化的三维协方差矩阵，并根据三维协方差矩阵进行二维投影计算得到二维协方差矩阵。
定义放缩变换和旋转变换矩阵来初始化参数，如公式10所示。
，公式10。
其中，R(q)为由四元数q表达的旋转变换，S(s)为放缩变换，由一个3D向量s表示。
从3D高斯渲染（Gaussian Splatting）到平面上，然后经过Tiled-basedRasterizer后得到三维数字植物渲染结果。
所谓的三维渲染，实际上就是，让用户在拖动的过程中，实时地给用户展现各个角度下的植物图片。所以，要做到三维渲染，需要计算3D点在每个视角下的二维投影结果。在上述实施例中对3D高斯点进行了初始化和优化，在该步骤，就需要把3D高斯点投影到二维平面上进行渲染。
计算投影的二维协方差矩阵，目的就是为了将三维空间中的高斯点投影到二维图像平面上，并在图像平面上进行渲染。通过计算投影后的二维协方差矩阵，可以准确地表示每个高斯点在图像平面上的形状和分布，从而进行高质量的渲染。
采用gaussian splatting中的方法进行渲染（splatting）。按照公式11计算投影的二维协方差矩阵。
，公式11。
其中，J表示雅可比矩阵(Jacobian Matrix)，描述投影变换中每个变量对于不同坐标的偏导数，W表示旋转和平移矩阵（对应的前面的相机位姿）。
步骤1073，将所述高斯点的均值结果乘以所述二维协方差矩阵，进行高斯处理得到的图像强度。
步骤1074，确定每个高斯点的不透明度，根据所述不透明度确定图像颜色。
基于Tiled-based Rasterizer的方法进行渲染。经过投影变换（这里的投影变换就是指的是将3D高斯点乘以上述的协方差矩阵）后，采用公式12计算每个高斯点的不透明度，最终合成图像。
，公式12。
其中，α为三维高斯点的不透明度，α’为投影的二维高斯点的不透明度。
C为图像颜色，通过混合alpha合成的方法来计算整体图像最终颜色，如公式所示：
其中，为模型学习到的颜色，而为计算的不透明度。
步骤1075，基于所述高斯处理得到的图像强度和所述图像颜色，利用高斯渲染模型进行处理，并确定高斯渲染模型的损失函数，并对损失函数优化参数后对高斯渲染模型进行反向传播处理，使得利用高斯渲染模型能够基于高斯处理得到的图像强度和图像颜色对分割植物前景结果进行颜色渲染，得到各个视角的三维植物渲染结果。
具体实施时，投影处理之后，定义高斯渲染模型的损失函数更新并优化参数并反向传播。由于可视化渲染过程中只关注植物前景，因此为植物前景像素分配更高的权重，损失函数如公式13所示。
，公式13。
其中，是针对每个像素点的权重，N为目标数据中的像素点数，为由当前高斯参数渲染得到的图像强度，为实际图像在处的强度。
通过梯度下降的方法更新参数，以减小损失函数值，如公式14所示。
，公式14。
其中，β为学习率，控制参数更新的步长。
根据计算获得的颜色和不透明度，即可将各个高斯点渲染到各个角度的图像平面上，从而合成获得图像。在用户任意观察视角（相机视角）下，都可以计算出对应的投影图像，即可获得全方位的各个视角的三维植物渲染结果。
在一些实施例中，步骤108包括：
尽管三维（3D）高斯渲染的表示方法是一种新型的三维表示方法，但传统三维测量方法仍然主要依赖网格化的三维面片进行计算。
针对多个视角中的每个视角：
步骤1081，利用正则项的算法优化高斯渲染模型的损失函数，利用该视角的三维植物渲染结果对高斯模型进行二次训练处理，得到与植物表面贴合的高斯分布图像。
具体实施时，通过引入正则项的方法优化损失函数，基于高斯渲染结果对高斯模型进行二次训练，得到与植物表面紧密贴合的高斯分布图像（3D高斯分布）。
主要由三个步骤组成，即（1）计算SDF值使得高斯更接近植物表面；（2）结合深度图映射的方法优化密度函数以增加3D高斯之间的重叠度；（3）减小3D高斯的缩放因子使其更平滑以贴合植物表面。
经过新的正则项优化的方法，可以训练获得大部分重叠且完全贴合植物表面的3D高斯分布。
步骤1082，基于所述与植物表面贴合的高斯分布图像的密度进行上采样处理，得到稠密植物特征点。
步骤1083，利用泊松重建的方式确定3D网络模型，在所述3D网络模型上绑定所述稠密植物特征点，得到该视角对应的植物三维网格面片图像。
具体实施时，在重建网格的过程中进一步结合SDF的方法，优化网格质量。最后，重新在网格表面绑定3D高斯，获得更精细化的植物三维网格面片图像。
下面具体分析本申请方案的处理结果。
如图7所示，为植物前景分割结果，可以准确的分割出植物前景。
如图8所示，为单视角和多视角的前景分割示意图，根据图8可以准确获知多视角的前景分割结果。
如图9所示，为三维高斯可视化渲染结果，可以得到准确的可视化渲染结果。
单纯的三维渲染在实际农业生产中难以发挥更多的可能性。因此，将植物三维可视化结果转化为真实可测量的3D点的方法。经过三维高斯溅射优化后，高斯分布并不是一个有序的结构、与场景的实际表面并不能很好地对应，因此，探索出了一种从3D高斯结果中提取精准面片的方法。基于本申请的方法，成功的提取出了精准的植物面片，可以直接对其测量高度、体积、叶面积、茎叶夹角等性状、或者搭建新的模型进行叶片分割、植物特性分析等细致的点云处理。
值得一提的是，尽管对植物渲染结果做了可测量面片的提取，以便于后续通过传统点云处理的方式进行计算，3D Gaussian的表示方式，作为一种高效的新型场景表示和传统渲染方式相结合的手段，更重要的是它本身的显式函数表示（区别于Nerf的隐式神经网络），足以引起一场三维表型测量领域的变革。本申请通过相应插件即可方便的将3Dgaussian表示导入到Unity等常用软件中进行二次编辑。
需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种基于三维表型建模的植物图像处理装置。
参考图10，基于三维表型建模的植物图像处理装置，包括：
特征提取模块201，被配置为对植物在多个视角下的初始图像序列进行特征提取处理，得到提取后的特征点；
稀疏点云模块202，被配置为确定所述特征点对应的相机位置，并利用三角测量法根据所述相机位置对相应的特征点进行处理，得到植物的稀疏点云数据；
初始分割模块203，被配置为将多个视角下的初始图像序列输入至追踪网络中的SAM模型中，利用SAM模型对每个视角下的初始图像序列进行前景分割处理，得到初始分割植物前景数据；
中间分割模块204，被配置为对每个视角下的所述初始分割植物前景数据，利用对应的初始图像进行边缘细化处理，得到与每个视角对应的中间分割植物前景；
对齐处理模块205，被配置为将各个视角对应的中间分割植物前景进行空间对齐处理，得到对齐后的特征数据；
全方位分割模块206，被配置为将所述对齐后的特征数据输入至所述追踪网络中，利用所述追踪网络中的相似性算法进行分析去除不完整的特征，得到各个视角的分割植物前景结果；
高斯渲染模块207，被配置为根据所述稀疏点云数据确定初始高斯点，基于所述初始高斯点对各个视角的分割植物前景结果进行高斯重建和可视化渲染处理，得到各个视角的三维植物渲染结果；
面块处理模块208，被配置为对每个视角的三维植物渲染结果进行网格化三维面片处理，生成与每个视角对应的植物三维网格面片图像；以供基于所述植物三维网格面片图像进行植物形态分析。
在一些实施例中，特征提取模块201，具体被配置为：
确定各个视角对应的初始图像序列的灰度值；
利用各个视角的尺度不变特征变换方式，使用高斯函数分别对相应视角的初始图像序列的灰度值进行特征提取，得到提取后的特征点。
在一些实施例中，稀疏点云模块202，具体被配置为：
依据快速近邻搜索库对提取到的所述特征点，利用最小化欧氏距离的方式进行特征点匹配，得到特征点匹配结果；
基于所述特征点匹配结果利用PnP算法进行位姿匹配，确定所述特征点的相机位置；
根据所述相机位置和所述特征点的位置，利用三角测量法计算所述特征点在三维空间中的坐标，根据坐标确定植物的稀疏点云数据。
在一些实施例中，初始分割模块203，具体被配置为：
针对多个视角中的每个视角：
确定用户针对该视角下的初始图像序列的选定目标点，将所述选定目标点和该视角下的初始图像序列输入至追踪网络中的SAM模型中，进行图像标准化处理，得到标准化处理后的数据；
利用SAM模型中的多头注意力机制对所述标准化处理后的数据进行残差连接和第二次标准化处理，得到二次标准化处理后的数据；
利用SAM模型中的多层感知机MLP对所述二次标准化处理后的数据进行处理，将多层感知机MLP的输出结果与所述二次标准化处理后的数据相加形成残差连接，得到图像的嵌入结果；
将所述选定目标点进行位置编码处理，得到位置编码结果；
使用SAM模型中的自注意力机制根据所述图像的嵌入结果和所述位置编码结果，分析图像的各部分的关系，以及使用SAM模型中的交叉注意力机制根据所述图像的嵌入结果和所述位置编码结果，加强图像的特定部分与选定目标点之间的相关性；
基于所述图像的各部分的关系和图像的特定部分与选定目标点之间的相关性，进行前景分割处理，得到初始分割植物前景数据。
在一些实施例中，中间分割模块204，具体被配置为：
针对多个视角中的每个视角：
将该视角下的初始图像序列和初始分割植物前景数据输入至追踪网络中；
利用所述追踪网络中的XMem模型，根据初始分割植物前景数据进行半监督处理，得到优化后的初始分割植物前景数据；
利用所述追踪网络中SAM模型，基于该视角下的初始图像序列对优化后的初始分割植物前景数据进行边缘细化处理，得到该视角对应的中间分割植物前景。
在一些实施例中，对齐处理模块205，具体被配置为：
针对各个视角对应的中间分割植物前景提取多尺度特征；
利用ICP配准算法依据所述多尺度特征，对各个视角的中间分割植物前景进行空间对齐，并将空间对齐后的中间分割植物前景进行特征加权平均处理，得到对齐后的特征数据。
在一些实施例中，高斯渲染模块207，具体被配置为：
根据所述稀疏点云数据确定初始高斯点，基于K-Means聚类算法对所述初始高斯点进行聚类均值处理，得到高斯点的均值结果；
利用放缩变换和旋转变换矩阵确定初始化的三维协方差矩阵，并根据三维协方差矩阵进行二维投影计算得到二维协方差矩阵；
将所述高斯点的均值结果乘以所述二维协方差矩阵，进行高斯处理得到的图像强度；
确定每个高斯点的不透明度，根据所述不透明度确定图像颜色；
基于所述高斯处理得到的图像强度和所述图像颜色，利用高斯渲染模型进行处理，并确定高斯渲染模型的损失函数，并对损失函数优化参数后对高斯渲染模型进行反向传播处理，使得利用高斯渲染模型能够基于高斯处理得到的图像强度和图像颜色对分割植物前景结果进行颜色渲染，得到各个视角的三维植物渲染结果。
在一些实施例中，面块处理模块208，具体被配置为：
针对多个视角中的每个视角：
利用正则项的算法优化高斯渲染模型的损失函数，利用该视角的三维植物渲染结果对高斯模型进行二次训练处理，得到与植物表面贴合的高斯分布图像；
基于所述与植物表面贴合的高斯分布图像的密度进行上采样处理，得到稠密植物特征点；
利用泊松重建的方式确定3D网络模型，在所述3D网络模型上绑定所述稠密植物特征点，得到该视角对应的植物三维网格面片图像。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的方法。
图11示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图， 该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一构思，与上述任意实施例方法相对应的，本申请还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得所述计算机执行如上任一实施例所述的方法，具有相应的方法实施例的有益效果，在此不再赘述。
可以理解的是，在使用本公开中各个实施例的技术方案之前，均会通过恰当的方式对所涉及的个人信息的类型、使用范围、使用场景等告知用户，并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确的提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主的选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定的实现方式，响应于接受到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围（包括权利要求）被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。