一种近红外光谱测定污水中COD和BOD5指标的方法技术领域
本发明属于污水处理领域，尤其是涉及一种近红外光谱测定污水中COD和BOD5指标的方法。
背景技术
有机物污染是水污染的重要污染物之一。在水质监测中，常采用化学需氧量（COD）和生化需氧量（BOD5）作为重要的综合指标来评价水体中有机物的污染程度。目前国内外测定COD指标的方法主要有重铬酸钾法、库伦法和比色法；测定BOD5指标的方法主要有稀释与接种法、荧光法和生物传感器法。这些测定方法通常需要对样品进行预处理，操作复杂，有时需要用到有毒试剂，不仅危害身体健康，而且会造成二次污染。
近年来，近红外光谱分析技术迅速发展。利用该技术分析样品具有快速高效、不破坏样品、不消耗化学试剂、无污染、便于在线分析等优点，因此在诸多领域得到了广泛应用。近红外光谱在水质监测方面的应用亦有报道：对污水样品的近红外光谱简单预处理后直接建立测定模型；采用优化算法对污水样品的近红外光谱进行优化，然后建立测定模型；通过测定光程的变化与组合，提高近红外光谱测定模型的灵敏度。但由于污水中的水分在近红外光谱区域有强吸收，会对污水中待测定指标的光谱特征造成强烈干扰，导致最终测定指标的误差较大。
发明内容
本发明的目的是针对上述现有技术中存在的不足，提供一种近红外光谱测定污水中COD和BOD5指标的方法。
本发明为实现上述目的，所采用的技术方案为：一种近红外光谱测定污水中COD和BOD5指标的方法，包括下述步骤：
（1）取污水样品，先用常规方法测定污水样品的COD和BOD5的标准值，然后测定污水样品的近红外光谱，得到污水样品的原始近红外光谱数据；
（2）取纯水样品，在与污水样品相同的条件下测定纯水样品的近红外光谱，得到纯水样品的近红外光谱数据；
（3）对污水样品的原始近红外光谱数据进行预处理后，用凯纳德-斯通算法将污水样品划分为校正集和验证集，通过计算扣除污水样品中纯水的近红外光谱，得到污水样品的剩余近红外光谱数据；
（4）将校正集污水样品的剩余近红外光谱数据分别与用常规方法测定的COD和BOD5的标准值进行关联，用偏最小二乘法分别建立污水中COD和BOD5指标的测定模型；
（5）将验证集污水样品的剩余近红外光谱数据代入步骤（4）建立的测定模型得到COD和BOD5的测定值，并与用常规方法测定的COD和BOD5的标准值比较，对测定模型进行验证、评价；
（6）取未知污水样品，测定其近红外光谱，重复步骤（3）后，得到未知污水样品的剩余近红外光谱数据，代入测定模型，即可测得未知污水样品中COD和BOD5指标。
本发明的一种近红外光谱测定污水中COD和BOD5指标的方法，步骤（3）中所述的扣除污水样品中纯水的近红外光谱的计算方法为：
①构建与纯水样品的近红外光谱数据正交的转换矩阵Z，构建公式如下：
Z=I–W×(W’×W)-1×W’，其中，W为纯水样品的近红外光谱矩阵，I为单位矩阵，W’为W的转置矩阵；
②根据转换矩阵Z，计算污水样品的剩余近红外光谱数据，计算公式如下：
R=Z×S，其中，R为污水样品的剩余近红外光谱矩阵，S为污水样品的原始近红外光谱矩阵。
本发明的一种近红外光谱测定污水中COD和BOD5指标的方法，步骤（3）中所述的预处理为采用平滑滤波器对污水样品的原始近红外光谱数据进行滤波。
本发明的一种近红外光谱测定污水中COD和BOD5指标的方法，所述的测定模型对应的近红外光谱的光谱范围包括三个区域，分别为：Ⅰ区域：8800cm-1～8500cm-1、Ⅱ区域：7556cm-1～7162cm-1、Ⅲ区域：6329cm-1～5470cm-1。
本发明的一种近红外光谱测定污水中COD和BOD5指标的方法，采用正交信号校正法，污水样品的近红外光谱特征信息S可表示为污水样品中有机污染物的光谱特征信息S有、水的光谱特征信息W、污水中高频噪音等杂质光谱特征信息S其它三者的加和，即：S=kW+S有+S其它。通过对污水样品近红外光谱数据的滤波预处理可去除高频噪音等杂质（S其它）对光谱的干扰。用污水样品的近红外光谱数据与纯水的正交转换矩阵相乘后，可从污水的近红外光谱特征信息中扣除纯水的近红外光谱特征信息，以此来消除水在近红外区域的强吸收对COD和BOD5指标测定造成的干扰，提高了最终建立的测定模型的预测能力和精确度。
本发明的一种近红外光谱测定污水中COD和BOD5指标的方法，对未知污水样品测定其近红外光谱数据并进行数据处理后，通过建立的测定模型直接计算得到未知污水样品中COD和BOD5指标。测定时间快、无需任何化学试剂，具有简便、迅速、准确、易操作的优点。用本发明方法监测水质，大大提高了水质预警的时效性，具有较强的实用性。
附图说明
图1为污水样品的原始近红外光谱。
图2为纯水样品的近红外光谱。
图3为污水样品的剩余近红外光谱。
图4为未知污水样品的COD指标的测定值和标准值关系图。
图5为未知污水样品的BOD5指标的测定值和标准值关系图。
具体实施方式
本发明的一种近红外光谱测定污水中COD和BOD5指标的方法，包括下述步骤：
（1）取污水样品，先用常规方法测定污水样品的COD和BOD5的标准值，然后测定污水样品的近红外光谱，得到污水样品的原始近红外光谱数据；
（2）取纯水样品，在与污水样品相同的条件下测定纯水样品的近红外光谱，得到纯水样品的近红外光谱数据；
（3）对污水样品的原始近红外光谱数据进行预处理后，用凯纳德-斯通算法将污水样品划分为校正集和验证集，通过计算扣除污水样品中纯水的近红外光谱，得到污水样品的剩余近红外光谱数据；
（4）将校正集污水样品的剩余近红外光谱数据分别与用常规方法测定的COD和BOD5的标准值进行关联，用偏最小二乘法分别建立污水中COD和BOD5指标的测定模型；
（5）将验证集污水样品的剩余近红外光谱数据代入步骤（4）建立的测定模型得到COD和BOD5的测定值，并与用常规方法测定的COD和BOD5的标准值比较，对测定模型进行验证、评价；
（6）取未知污水样品，测定其近红外光谱，重复步骤（3）后，得到未知污水样品的剩余近红外光谱数据，代入测定模型，即可测得未知污水样品中COD和BOD5指标。
步骤（3）中所述的扣除污水样品中纯水的近红外光谱的计算方法为：
①构建与纯水样品的近红外光谱数据正交的转换矩阵Z，构建公式如下：
Z=I–W×(W’×W)-1×W’，其中，W为纯水样品的近红外光谱矩阵，I为单位矩阵，W’为W的转置矩阵；
②根据转换矩阵Z，计算污水样品的剩余近红外光谱数据，计算公式如下：
R=Z×S，其中，R为污水样品的剩余近红外光谱矩阵，S为污水样品的原始近红外光谱矩阵。该计算方法能够有效消除水的光谱吸收在COD和BOD5指标测定过程中造成的干扰，提高测定模型的预测能力和精确度。
步骤（3）中所述的预处理为采用平滑滤波器对污水样品的原始近红外光谱数据进行滤波。通过对光谱数据的滤波可消除高频噪音等杂质对污水样品近红外光谱数据的干扰，提高测定模型的精确度。
所述的测定模型对应的近红外光谱的光谱范围包括三个区域，分别为：Ⅰ区域：8800cm-1～8500cm-1、Ⅱ区域：7556cm-1～7162cm-1、Ⅲ区域：6329cm-1～5470cm-1。在所述的Ⅰ、Ⅱ、Ⅲ区域内通过计算能够将水的近红外光谱造成的干扰降至最低，使最终测定模型的精确度达到最高。
本发明所选污水样品数量越多，所建立的测定模型越准确、精度越高，但建立测定模型的工作量也越大，因此，实际操作中为减少工作量，一般选取尽可能涵盖所有可能预测值的样品数量，本发明优选的污水样品数量在60-120个。纯水样品不同样品之间无显著差异，优选数量为5-10个。
本发明步骤（1）中所述的测定COD指标的常规方法参照GB11914-89（水质-化学需氧量的测定-重铬酸盐法）进行测定；所述的测定BOD5指标的常规方法参照GB7488-87（稀释与接种法）进行测定。
本发明步骤（3）中所述的用凯纳德-斯通算法将污水样品进行划分为校正集和验证集。凯纳德-斯通算法（kennard-stone算法的音译）的基本原理为：根据不同污水样品之间的最大欧氏距离选择最具有代表性分布的污水样品为校正集。根据凯纳德-斯通算法，第i个污水样品到第j个污水样品的欧氏距离的计算公式为：
，其中，p表示近红外光谱的变量个数。
本发明步骤（4）用偏最小二乘法建立测定模型的基本原理如下（以COD指标为例）：先将校正集污水样品的剩余近红外光谱矩阵R分解为光谱得分矩阵T和光谱载荷矩阵P的乘积，把COD标准值矩阵Y分解为COD得分矩阵U和COD载荷矩阵Q的乘积，即R＝TP+A、Y＝UQ+B，然后对U和T进行线性回归，U=TM，所以有COD指标与近红外光谱之间的关系式：Y=TMQ+C（A、B、C均为随机误差矩阵）。利用校正集样品确定P，采用留一法交互验证确定主成分数。对于未知污水样品，即可根据关系式Y=TMQ+C求得未知污水样品的COD指标。
本发明步骤（5）中所述的对测定模型进行验证、评价，测定模型评价参数及计算标准如下：
① 相关系数（r）：
，
r越接近1，表示测定模型的测定值和标准值越接近；r等于1,表示测定模型的测定值和标准值完全拟合。
② 校正集均方根误差（RMSEC），验证集均方根误差（RMSEP）：
，
RMSEC和RMSEP值越小，表示测定模型测定精度越高。
本发明的一种近红外光谱测定污水中COD和BOD5指标的方法，步骤（3）中所述的用凯纳德-斯通算法将污水样品进行划分和扣除污水样品中纯水的近红外光谱的计算、步骤（4）所述的用偏最小二乘法建立污水COD和BOD5指标的测定模型、步骤（5）所述的对测定模型的验证、评价，上述计算过程均可通过光谱化学计量学类处理软件进行处理，本发明实施例采用matlab软件。
本发明的一种近红外光谱测定污水中COD和BOD5指标的方法，可以通过以下具体的实施例做进一步的说明：
本实施例中采用的近红外光谱仪为Thermo scientific傅里叶变换近红外光谱仪，采用4mm适应比色皿作样品池，InGaAs检测器；测定条件为：透射光谱法进行测定，空气作为参比，光谱分辨率为4cm-1，光谱扫描区间为10000cm-1~4000cm-1，扫描次数为32次；污水样品取自济南市某污水处理厂。纯水样品取蒸馏水。
实施例1，一种近红外光谱测定污水中COD和BOD5指标的方法的具体步骤为：
（1）取污水样品88个，先用常规方法测定污水样品的COD和BOD5的标准值，然后测定污水样品的近红外光谱，得到污水样品的原始近红外光谱数据（如图1所示）；
（2）取纯水样品8个，在与污水样品相同的条件下测定纯水样品的近红外光谱，得到纯水样品的近红外光谱数据（如图2所示）；
（3）采用Savitzky-Golay平滑滤波器对污水样品的原始近红外光谱数据进行滤波，用凯纳德-斯通算法将污水样品划分为校正集污水样品52个和验证集污水样品36个，用matlab软件按照公式：Z=I–W×(W’×W)-1×W’和R=Z×S进行计算，扣除污水样品中纯水的近红外光谱，得到污水样品的剩余近红外光谱数据（如图3所示）；
（4）将校正集污水样品的剩余近红外光谱数据分别与用常规方法测得的COD和BOD5的标准值进行关联，基于光谱区域Ⅰ区域：8800 cm-1～8500 cm-1、Ⅱ区域：7556 cm-1～7162 cm-1、Ⅲ区域：6329 cm-1～5470cm-1，用偏最小二乘法分别建立污水COD和BOD5指标的测定模型；
（5）将验证集污水样品的剩余近红外光谱数据代入步骤（4）建立的测定模型得到COD和BOD5的测定值，并与用常规方法测定的COD和BOD5的标准值比较，对测定模型进行验证、评价；
表1、表2分别为基于污水样品剩余近红外光谱和基于污水样品滤波后的近红外光谱建立的COD和BOD5指标的测定模型的主成分数对比情况和测定模型评价对比情况：
表1 污水样品的COD指标的测定模型对比
表2 污水样品BOD5指标的测定模型对比
上述对比情况表明，通过计算扣除水的近红外光谱的干扰后建立的COD和BOD5指标的测定模型测定值更接近标准值，测定精度更高。
（6）取未知污水样品35个，测定其近红外光谱，对未知污水样品的近红外光谱数据重复步骤（3）后，得到未知污水样品的剩余近红外光谱数据，代入测定模型，测得未知污水样品中COD和BOD5指标。根据测定模型测得的未知污水样品的COD和BOD5指标的测定值和用常规方法测得的标准值的关系见图4、图5。