基于红外光谱智能鉴定模型的土壤有机质快速检测方法技术领域
本发明属于农业信息化领域，具体涉及一种基于中红外光声光谱建立智能鉴定模型对检测土壤有机质含量的快速、精确、无损的测定方法。
背景技术
土壤有机质是土壤的重要组成部分，也是农田土壤肥力和土壤质量的重要指标，土壤有机质含量的快速检测对于农田精准施肥具有重要意义。
目前传统的测定土壤有机质含量一般采用重铬酸钾容量法、水合热重铬酸钾氧化-比色法等，这些方法需要对样本进行预处理、操作复杂、成本较高、测试周期长、且需要大量化学试剂，易污染环境，不适合大规模快速测定要求。
近年来红外光谱技术已经用于土壤的定性定量分析。中红外光光声光谱是一种基于现代光声转换的红外光谱，其原理是将红外光入射到光声附件的样品池中，样品受到红外光照射后产生热效应，光声池中的气体受到热效应后转化为热波，热波被敏感的微音器检测，得到红外光声光谱。红外光声光谱测样无需前处理、对样品无损、可实现原位测定，在农业中显示出很好的应用潜力。
将红外光谱与化学计量学方法相结合，构建预测模型，可实现对土壤有机质含量的预测，该类模基于给定样本进行模型构建，模型单一稳定，且校正集和验证集相对固定。但土壤结构复杂，背景干扰大，且土壤变异系数大，不同采样点土壤具有不同特征，易受背景干扰影响，且建模样本数过少或过多都会影响模型的精确度和普适性。如何将红外光谱与化学计量学相结合，构建和优化模型，实现土壤性质快速、精确的预测，对土壤有机质含量的测定具有重要的意义，也是该领域的研究重点与难点。
发明内容
针对上述问题，本发明提供一种智能化学计量学建模方法，可以实现对土壤有机质含量快速、精确、无损的检测。通过检测土壤样品的红外光声光谱信息，将待测的样品光谱与已知光谱样本通过相似性进行排序鉴定，针对每一种土壤样品不同特征，选择最相似土壤光谱矩阵与最佳建模样本数目建立PLSR模型预测，形成“一样一模型”的智能鉴定模型，能够有效降低土壤背景干扰。该方法与以往单纯采用区域全部土壤样本光谱预测建模方法相比，其模型稳定性和预测精度大大提高，模型普适性更强，实现了对土壤样品有机质进行快速、精确的检测。
本发明的技术方案如下：
一种基于红外光谱智能鉴定模型的土壤有机质快速检测方法快速、精确、无损的模型建立方法，包含以下步骤：
(1)：采集土壤样品，划分训练样本和待测样本；
(2)：土壤训练样本取样，置于傅里叶变换中红外光谱仪-光声附件样品池中，采集中红外光声光谱信息，连续多次扫描，取平均光谱；
(3)：采用化学方法分析步骤(1)中已测光谱的土壤样品的有机质含量；
(4)：将步骤(2)采集的光谱信息进行预处理，采用消噪、平滑、标准化预处理；
(5)：待测土壤样本取样，置于傅里叶变换中红外光谱仪-光声附件样品池中，采集中红外光声光谱信息；连续多次扫描，取平均光谱，并通过步骤(4)的方法对待测样本的光谱进行预处理。根据步骤(3)方法，测定待测样本的化学参考值；
(6)：每次提取一个预处理好待测样本光谱，通过马氏距离方法进行计算比较，并根据待测样本与训练样本间的马氏距离建立从小到大的新序列矩阵；
(7)：新序列矩阵根据待测样本的特点，通过偏最小二乘回归(PLSR)方法建立各自的预测模型，并根据不同建模集数目得到不同的PLSR模型；
(8)：通过相关指标如样本的标准差SD、相关系数R2，均方根误差RMSE以及模型预测性能综合性评价指标RPD，以及验证模型的均方根误差RMSEP和预测样本的均方根误差PRMSECV的比值对PLSR中不同建模集数目所建立的不同模型进行评价；
(9)：通过步骤(6)、(7)、(8)的方法，对每一个待测样本进行模型的建立与优化，得到最佳“一样一模型”的智能土壤鉴定模型。
将待测样本光谱带入模型，对有机质含量进行计算与预测，得出预测值；然后利用步骤(5)化学方法所得化学参考值与智能鉴定模型预测所得的预测值进行比较，所构建的智能鉴定模型对化学参考值基本一致，预测结果可靠。
更优化和更具体地说，本发明各步骤操作方法如下：
(1)：采集土壤样品，对采集的样本进行风干、研磨并通过2mm孔筛。划分训练样本和待测样本。
(2)：土壤训练样本取样每份100-200mg，置于傅里叶变换中红外光谱仪(Nicolet6700,Thermo Fisher Scientific,USA)-光声附件(PA 300,MTEC,USA)样品池中，采集中红外光声光谱信息，采集波长范围为4000-400cm-1，扫描分辨率为4cm-1；动镜速率为0.3162cm-1s，32次连续扫描取平均光谱，测试之前采用炭黑进行背景校正。
(3)：采用化学方法分析步骤(1)中已测光谱的土壤样品的有机质含量，优选方法为水合热重铬酸钾氧化-比色法。
(4)：将步骤(2)采集的光谱信息进行预处理，采用消噪、平滑、标准化预处理(杜昌文，《土壤红外光声光谱原理及应用》，科学出版社，北京，2012版)。具体方法如下：去噪平滑方法采用小波滤波进行，Matlab软件中提供很多数字滤波函数，采用filtfilt函数进行，其语法结构为：
[b,a]＝butter(n,wn,’low’)
SpectrumF＝filtfilt(b,a,spectrum)
其中变量a,b为尺数程序定义了一个n阶截止频率为wn的巴特沃兹滤波器，low表示截止频率为wn的低通滤波，光谱Spectrum滤波后，返回值为SpectrumF。
标准化采用Matlab软件中提供的标准化函数：
[pn,ps]＝mapminmas(spectrum)
其中pn是标准后的数据，ps是含有原数据平均数与标准差信息的数据。
(5)：采集待测土壤样本取样每份100-200mg，置于傅里叶变换中红外光谱仪(Nicolet6700,Thermo Fisher Scientific,USA)-光声附件(PA 300,MTEC,USA)样品池中，采集中红外光声光谱信息，采集波长范围为4000-400cm-1，扫描分辨率为4cm-1；动镜速率为0.3162cm-1s，32次连续扫描取平均光谱，并通过步骤(4)的方法对待测样本的光谱进行预处理。根据步骤(3)方法，测定待测样本的化学参考值。
(6)：每次提取一个待测样本，将经步骤(4)预处理好的待测样本光谱通过马氏距离方法进行计算比较。两样本之间的马氏距离D计算公式如下：
其中x为训练样本的光谱数据向量，y为待测样本的光谱数据向量，S为待测样本协方差矩阵；计算待测样本与训练样本的马氏距离，并将马氏距离按照从小到大排序组成新序列集，该计算方法可通过Matlab 2013a软件计算得出。
(7)：新序列矩阵根据待测样本的特点，通过偏最小二乘回归(PLSR)方法建立各自的预测模型。每个待测的样本的预测模型中，建模的样本数目分别为25个、30个、35个、40个，……，以间隔为数目为5个递增，依次类推，直至光矩阵的最大数目为建模集输入，分别采用Leave-one-out交叉验证方法，得到不同建模集数目的PLSR预测模型。
(8)：通过相关指标如样本的标准差SD、相关系数R2，均方根误差RMSE以及模型预测性能综合性评价指标RPD，以及验证模型的均方根误差RMSEP和预测样本的均方根误差PRMSECV的比值对不同建模数目所建立的模型进行评价。
模型建立与计算过程通过Matlab 2013a软件进行(Mathwork,USA)，其具体过程如下：
其中y是样本的化学测试值；y'为样本预测值，为样品化学参考值的平均值，n为样品数；i为从第一个土壤样本到第n个的计数。
其中R
2越接近1，RMSE越小，说明模型的预测性能越好。当RPD>2时，认为模型质量优良；当1.5<PRD<2时，认为模型可接受；当RPD<1.5时，则认为模型较差不可接受(杜昌文，《土壤红外光声光谱原理及应用》，科学出版社，北京，2012版)。通过计算，可得到由不同样本数目所构建的预测模型，当预测模型的相关系数R
2接近于1、均方根误差RMSE接近于0、模型预测性能综合性评价指标RPD大于2、RMSEP/RMSECV小于1.2，且该样本数目下的样本标准差SD足够大时，可确立该条件下建立预测模型的最佳建模样本数目。
(9)：通过步骤(6)、(7)、(8)的方法，对每一个待测样本进行模型的建立与优化，得到“一样一模型”的智能土壤鉴定模型。将待测样本光谱带入模型，对有机质含量进行计算与预测，得出预测值；然后利用步骤(5)化学方法所得化学参考值与智能鉴定模型预测所得的预测值进行比较，所构建的智能鉴定模型对化学参考值基本一致，预测结果可靠。
本发明的有益效果在于：
本发明提供一种根据土壤特征建模预测的智能鉴定方法，其特点是针对每一个样品光谱建立符合其光谱特征“一样本一模型”的智能鉴定模型，能够有效降低土壤背景干扰及变异性影响，该智能鉴定模型普适性强，模型稳健，有效提高预测精确性。
附图说明
图1为土壤智能鉴定模型对有机质含量快速无损检测方法的操作流程图。
图2为相关指标如样本的标准差SD、相关系数R2，均方根误差RMSE以及模型预测性能综合性评价指标RPD，以及验证模型的均方根误差RMSEP和预测样本的均方根误差PRMSECV的比值对不同建模数目所建立的模型评价。
图3为本实施方式中智能鉴定模型建立预测模型得到的土壤有机质含量与化学参考值的结果图。
具体实施方式
以下实施例用于说明本发明，但并不用来限制本发明的范围。
若未特别指明，实施例中所有的技术手段为本领域技术人员所熟知的常规手段。
实施例1
(1)：采集土壤样品933份，均为0-20cm表层土壤，对采集的样本进行风干、研磨并通过2mm孔筛。其中711份作为训练样本，222份作为待测样本。
(2)：土壤训练样本取样每份100-200mg，本实施方式采用傅里叶变换中红外光谱仪(Nicolet 6700,Thermo Fisher Scientific,USA)-光声附件(PA 300,MTEC,USA)样品池，样品放入光声池中不超过2/3，将样品放置完毕后关闭样品池，打开高纯氦气阀门，用高纯氦气进行吹扫，去除光声池内水汽和二氧化碳气体。采集中红外光声光谱信息，采集波长范围为4000-400cm-1，扫描分辨率为4cm-1；动镜速率为0.3162cm-1s，32次连续扫描取平均光谱，测试之前采用炭黑进行背景校正。
(3)：采用化学方法分析步骤(1)中已测光谱的土壤样品的有机质含量，优选方法为水合热重铬酸钾氧化-比色法，通过该法测出为有机碳质量，通过公式进行转化，
其中O.M为土壤有机质的质量分数；m1为土壤含碳量(mg)；m为土样质量；1.724为有机碳转换有机质的系数(按土壤有机质的平均含碳量为58％计算)；1.32位氧化校正系数。通过计算，并记录各个样本的有机质含量的化学参考值。
(4)：将步骤(2)采集的光谱信息进行消噪、平滑、标准化预处理(杜昌文，《土壤红外光声光谱原理及应用》，科学出版社，北京，2012版)。具体方法如下：
去噪平滑方法采用小波滤波进行，Matlab软件中提供很多数字滤波函数，采用filtfilt函数进行，其语法结构为：
[b,a]＝butter(n,wn,’low’)
SpectrumF＝filtfilt(b,a,spectrum)
其中变量a,b为尺数程序定义了一个n阶截止频率为wn的巴特沃兹滤波器，low表示截止频率为wn的低通滤波，光谱Spectrum滤波后，返回值为SpectrumF。
标准化采用Matlab软件中提供的标准化函数：
[pn,ps]＝mapminmas(spectrum)
其中pn是标准后的数据，ps是含有原数据平均数与标准差信息的数据。
(5)：待测土壤样本共222份，取样每份100-200mg，置于傅里叶变换中红外光谱仪(Nicolet 6700,Thermo Fisher Scientific,USA)-光声附件(PA 300,MTEC,USA)样品池中，样品放入光声池中不超过2/3，将样品放置完毕后关闭样品池，打开高纯氦气阀门，用高纯氦气进行吹扫，去除光声池内水汽和二氧化碳气体。采集中红外光声光谱信息，采集波长范围为4000-400cm-1，扫描分辨率为4cm-1；动镜速率为0.3162cm-1s，32次连续扫描取平均光谱，并通过步骤(4)的方法对待测样本的光谱进行预处理，根据步骤(3)方法，测定待测样本的化学参考值。
(6)：每次提取一个待测样本，将经步骤(4)预处理好的待测样本光谱通过马氏距离方法进行计算比较。两样本之间的马氏距离D计算公式如下：
其中x为训练样本的光谱数据向量，y为待测样本的光谱数据向量，S为待测样本协方差矩阵；计算待测样本与训练样本的马氏距离，并将马氏距离按照从小到大排序组成新序列集，该计算方法可通过Matlab 2013a软件计算得出。
(7)：新序列矩阵根据待测样本的特点，通过偏最小二乘回归(PLSR)方法建立各自的预测模型。每个待测的样本的预测模型中，建模的样本数目分别为25个、30个、35个、40个，……，以间隔为数目为5个递增，依次类推，直至光矩阵的最大数目930个为建模集输入，分别采用Leave-one-out交叉验证方法，得到不同建模集数目的PLSR预测模型。
(8)：通过相关指标如样本的标准差SD、相关系数R2，均方根误差RMSE以及模型预测性能综合性评价指标RPD，以及验证模型的均方根误差RMSEP和预测样本的均方根误差PRMSECV的比值对不同建模数目所建立的模型进行评价。
模型建立与计算过程通过Matlab 2013a软件进行(Mathwork,USA)，其具体过程如下：
其中y是样本的化学测试值；y'为样本预测值，为样品化学参考值的均值，n为样品容量；i为从第一个土壤样本到第n个的计数。
其中R
2越接近1，RMSE越小，说明模型的预测性能越好。当RPD>2时，认为模型质量优良；当1.5<PRD<2时，认为模型可接受；当RPD<1.5时，则认为模型较差不可接受(杜昌文，《土壤红外光声光谱原理及应用》，科学出版社，北京，2012版)。通过计算，使得预测模型的相关系数R
2接近于1、均方根误差RMSE接近于0、模型预测性能综合性评价指标RPD大于2、RMSEP/RMSECV小于1.2，且该样本数目下的样本标准差SD足够大，最终确立建立预测模型的最佳建模样本数目。不同样本具有符合各自土壤光谱特征以及最佳建模样本数的独立预测模型。
以其中三个待测样本为例(表1)，当样本1建模校正集数目为60时，预测模型相关系数为0.8698，RMSEP值为0.17g kg-1,RPD值为2.77，RMSEP/RMSECV比值为0.17，符合最优模型参数；样本2建模校正集数目为65时，预测模型相关系数为0.8848，RMSEP值为0.44g kg-1,RPD值为3.05，RMSEP/RMSECV比值为0.40，符合最优模型；样本3建模校正集数目为65时，预测模型相关系数为0.8924，RMSEP值为0.38g kg-1,RPD值为2.41，RMSEP/RMSECV比值为0.42，符合最优模型参数；选择其他建模数目时，所得模型各参数均未达到其最优值(见图2)。
表1待测样本集最优建模参数
(9)：通过步骤(6)、(7)、(8)的方法，对每一个待测样本进行模型的建立与优化，得到“一样一模型”的智能土壤鉴定模型。通过最优参数优化得出验证模型的R2为0.9082，RMSEP为1.6509g kg-1，RPD值为3.01。将待测样本光谱带入模型，对有机质含量进行计算与预测，得出预测值；然后利用步骤(5)化学方法所得化学参考值与智能鉴定模型预测所得的预测值进行比较，图3表示该模型的训练样本真实值与预测值的散点图分布，待测样本大致分布于拟合线两侧，没有较大的预测偏差，认为“一样一模型”的智能土壤鉴定模型稳定可靠。
因此，在土壤有机质快速预测过程中，采用“一样一模型”的智能土壤鉴定模型，操作流程简单，可提高预测精度和普适性。
本实施方式首先将每一个待测样品建立符合其光谱特征“一样本一模型”的智能鉴定模型，有效降低土壤背景干扰及变异性影响，然后结合偏最小二乘回归检测预测土壤有机质含量。该智能鉴定模型普适性强，模型稳健，有效提高预测精确性，并为精确农业中有机质信息快速获取提供研究思路和方法支持。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进接润饰，这些改进和润饰也应视为本发明的保护范围。