池涛1,曹广溥1*,李丙春2,孜克尔·阿不都热合曼2,王文龙21.上海海洋大学信息学院,上海2013062.喀什大学计算机科学与技术学院,喀什844006摘要:在土壤可见光~近红外波段光谱(350~2500nm)内包含了大量可以表征土壤盐度的相关性信息,通过土壤盐渍化检测反演模型的建立,可以定性定量分析土壤盐渍度。本文探究了信息不完备情况下,机器学习算法在土壤盐渍化检测模型反演中的适用性,分别使用了多元线性回归模型、BP神经网络模型和SVM模型来反演土壤盐渍化检测。结果表明,SVM模型预测精度达到99.41%,是三种模型中精度最高的模型,适用于分析土壤复杂光谱信息和高精度土壤盐渍化反演。关键词:光谱数据;支持向量机;土壤;盐渍度;反演中图法分类号:S151.9文献标识码:A文章编号:1000-2324(2018)04-0585-06SoilSalinityInversionBasedonHyperspectralDataandSVMMethod
CHITao1,CAOGuang-pu1*,LIBing-chun2,ZiklAbdurahman2,WANGWen-long21.CollegeofInformationTechnology/ShanghaiOceanUniversity,Shanghai201306,China2.CollegeofComputerScienceandTechnology/KashgarUniversity,Kashgar844006,ChinaAbstract:Thereisalargeamountofcorrelationinformationthatcancharacterizesoilsalinityinthevisiblelight~nearinfraredspectrumofsoil(350~2500nm).Theinversionmodelofsoilsalinizationdetectioncanbeusedtoanalyzesoilsalinityqualitativelyandquantitatively.Inthispaper,theapplicabilityofmachinelearningalgorithmintheinversionofsoilsalinizationdetectionmodelwasexploredundertheconditionofincompleteinformation.Multivariatelinearregressionmodel,BPneuralnetworkmodelandSVMmodelwereusedtoinversesoilsalinizationdetection.TheresultshowedthepredictionaccuracyofSVMmodelwas99.41%,whichwasthemostaccurateofthethreemodels.Itissuitableforanalyzingsoilcomplexspectralinformationandhighprecisionsoilsalinizationinversion.Keywords:Spectraldata;SVM;soil;salinity;inversion土壤盐渍化是一种常见但危害巨大的土壤退化现象,会降低农作物的产量,严重时农作物无法生长而且会破坏当地生态环境。中国领土广泛,不同区域的地质、气候、领海情况不同,造成了中国盐渍土种类丰富,很难定量分析。国内外对盐渍化土壤光谱机理[1-4]和模型反演[5-8]已进行了深入研究,形成了很多研究成果,但这些成果大多体现在定性分析和论文描述中,至今无应用于实际仪器仪表记录。本研究是基于不同盐度土壤反射光谱数据分析,采用多元线性回归、BP神经网络和支持向量机三种在数据回归领域中使用较广的两种算法,对土壤含盐量进行非线性定量拟合,代码通过MATLAB编程实现。创新点是在PC机中验证机器学习算法在土壤含盐量预测领域的适用性,以便于后期移植到实际的仪器仪表制作中。1
1.1样本采集与数据处理
样品的采集实验以不同区域的土壤为研究对象,一类供试土样采自上海市滨海地区,二类供试土壤采自省喀什区域,随机土样共270个(上海盐土150个,喀什盐土120个)并将每个土样分为两份,一份土样用于含盐量检测,一份用于土壤光谱测定。收稿日期:2017-09-05修回日期:2017-11-30基金项目:国家自然科学基金(61561027);上海市自然科学基金(16ZR1415100);上海市科技创新行动计划项目:小龙虾生态化智能化设施养殖关键技术研究与应用(16391902900)作者简介:池涛(1976-),男,博士/博士后,副教授,硕士生导师,美国UTD访问科学家,美国TAMU访问学者,研究方向为嵌入式系统及农业物联网.E-mail:tchi@shou.edu.cn*通讯作者:Authorforcorrespondence.E-mail:guangpucao@hotmail.com数字优先出版:2017-11-25http://www.cnki.net·586·山东农业大学学报(自然科学版)第49卷1.2土样含盐量检测本研究使用重量法检测土壤含盐量,土壤进过筛孔、溶解、去有机质、风干和称重等过程,测得土壤样本含盐量情况如下表:表1土壤含盐量样地统计表Table1Statisticstablesofsoilsalinitysampleplots含盐量/%样地号SaltpercentageSampleplotnumber<0.4120.41~0.7280.71~1241.01~1.341.31~1.690样地号Sampleplotnumber43461175含盐量/%Saltpercentage1.61~1.81.81~2.02.01~2.32.31~2.5>2.51.3土样光谱测定与处理土壤光谱测定使用了FieldSpecProFR(美国AnalyticalSpectralDevices公司)光谱仪,波长范围为3502500nm。在暗室中测定样本光谱,3501000nm波段光谱分辨率为3nm,10002500nm波段光谱分辨率为10nm,采样间隔都是1nm。光源使用了1000W的卤素灯,光谱仪传感器探头放置在土壤样本的正上方,探头接收的样本区域应远小于土壤样本的整体面积,确保探头接受的所有反射光谱都是来自土壤样本的[9]。重复采样土壤样本光谱曲线并取均值作为处理好实验数据供后面实验使用。在MATLAB中对采集到的光谱曲线进行去噪处理,处理后的光谱曲线如图1。图1不同盐渍土光谱反射率Fig.1Spectralreflectanceofdifferentsalinesoils两种供试土壤的土壤类型不同,第一类土壤采集自上海临海区域的盐土,土壤中的盐类大多是氯化盐,如NaCl和MgCl2,因为氯化物吸收水分的能力强导致氯化盐土中水分较高,所以该类土壤的光谱反射率会随着盐渍化程度的增加而降低。而第二类供试土壤采集自的喀什戈壁地区,由于天气干燥,土壤含水量极低而出现了盐结晶溢出的现象,这也导致了二类土壤的光谱反射率会随着盐渍度程度增加而增加。由于光谱波段数量较多,直接对原始数据进行拟合实验会造成实验模型复杂且运行效率低,所以需要采集一些特征值来表征某个土壤样本的整条光谱曲线。本研究选取盐渍土在350nm、700nm、1350nm、1400nm、1500nm、1850nm、2050nm、2200nm和2500nm的光谱反射率曲线值以及土壤表征参数(特征波段斜率):Xa(350~700nm),Xb(700~1350nm),Xc(1350~1400nm),Xd(1400~1500nm),Xe(1500~1850nm),Xf(1850~2050nm),Xg(2050~2200nm),Xh(2200~2500nm)。通过这种方法简化后的17个参数,不但涵盖了土壤光谱曲线的所有信息,而且可以避免样本少输入数据多而导致的拟合模型不稳定的问题。2
2.1盐渍化反演模型的构建
多元线性回归模型多元线性回归是一种常用的线性拟合方法,适用于自变量数量多的数据回归中,因变量与多个第4期池涛等:基于高光谱数据和SVM方法的土壤盐渍度反演·587·自变量都存在相关性,然后通过回归分析得出因变量与自变量的映射关系。多元线性回归方法是农学数学分析最常用的方法,本研究对土壤光谱数据进行多元线性回归,除去大于0.05大于显著水平的输入变量,得到土壤光谱数据与含盐量的映射方程,拟合公式如下:Y=1.33-111.34R1400+132.625R1900-98.22Xa-13.68Xb-255.62Xc+235.65Xd(1)2.2BP神经网络模型BP神经网络(BPNN)是一种采用了误差逆向传播算法来训练的前馈式神经网络,如果已有神经元之间的权值和阈值正向传播无法达到期望值,则反向传播计算误差大小来修改各节点的权值和阈值,逐步减小代价函数,使预测误差降到预先设定的数值[10]。当误差达到期望或者多次迭代后无法降低误差,则BP网络训练完成,此时的BP网络就是输入与输出之间的映射关系。本研究中的BP神经网络在MATLAB中实现,分为模型构建、自动训练和结果预测三个过程,通过MATLAB自带神经网络实验箱中的newff、train、sim三个函数来实现。将表征光谱曲线的17个参数作为BP神经网络的17个节点,隐含层的数量在不断实验中确定,输入层为土壤含盐量一个节点。代码实现过程如下:[inputn,inputps]=mapminmax(input_train);[outputn,outputps]=mapminmax(output_train);net=newff(inputn,outputn,[x,y],{'logsig''purelin'},'trainlm');net.trainParam.epochs=100;net.trainParam.lr=0.1;net.trainParam.goal=0.00004;net=train(net,inputn,outputn);inputn_test=mapminmax('apply',input_test,inputps);an=sim(net,inputn_test);BPoutput=mapminmax('reverse',an,outputps);其中:input是输入的土壤光谱数据;output是土壤含盐量;input_test是测试数据;BPoutput是预测结果。通过mapminmax函数对输入数据、输出数据和训练样本数据进行归一化,输入层到隐含层使用S型对数函数logsig,隐含层到输出层使用纯线性函数purelin,通过多次实验,选择了收敛效果最好、误差最小的trainlm作为训练函数。训练步数设置为100步,学习速率为0.1,理想误差为0.00004。将土壤光谱数据作为输入数据,土壤含盐量作为输出数据,训练模型,在误差达到理想误差时或是多次迭代后误差不在下降时,模型训练结束,得到的权值阈值矩阵就是BP神经网络模型。训练完成之后,将训练样本导入输出层,计算出预测结果并与实际结果相比较,得出BP神经网络的误差率。由于BP神经网络模型受训练样本数目影响较大,在小样本实验中,BP神经网络易出现局部误差大、模型不稳定等情况,所以本文对实验进行了2个调整:(1)从输入的17个节点中挑选出6个权值贡献率最大的节点作为输入节点,减少了输入节点的数量,简化了BP神经网络模型。(2)加一个BP神经网络模型用于土壤种类的分类,减少了土壤种类对模型精确度的影响。修改后的模型如图2。图2复合BP神经网络模型Fig.2CompoundBPneuralnetworkmodel·588·山东农业大学学报(自然科学版)第49卷2.3SVM模型支持向量机(SupportVectorMachine)是Cortes和Vapnik于1995年首先提出的用来解决函数拟合的问题。支持向量机一般用于分类和回归两种情况,本研究中土壤盐渍化反演模型就是使用支持向量机进行回归。在使用支持向量机进行回归时,需要调整的参数是惩罚参数c、不灵敏损失参数ε、核函数类型和核函数参数[11,12]。控制支持向量机回归的参数主要有惩罚参数c、不灵敏损失参数ε、核函数类型和核函数参数。c越大,表示经验风险越小,即模型越复杂,泛化能力越差;c越小,模型越简单,泛化能力越强,但可能牺牲了模型的拟合能力。ε用于修改支持向量的数量,ε越小,支持向量机数量越大,模型相对来说约复杂。已有学者研究表明,径向基核函数在土壤盐渍化反演模型中效果更好。因此,本研究的选择径向基(RBF)作为核函数,其表达式为:xxi
K(xi,x)exp{
22
2
}(2)式中:为核函数参数。代码实现流程如下:[bestmse,bestc,bestg]=SVMcgForRegress(TS,TSX,-5,10,-5,5,3,1,1,0.0005);disp('粗略选择结果');str=sprintf('BestCrossValidationMSE=%gBestc=%gBestg=%g',bestmse,bestc,bestg);disp(str);[bestmse,bestc,bestg]=SVMcgForRegress(TS,TSX,0,10,-5,0,3,0.3,0.3,0.0002);disp('精细选择结果');str=sprintf('BestCrossValidationMSE=%gBestc=%gBestg=%g',bestmse,bestc,bestg);disp(str);cmd=['-c',num2str(bestc),'-g',num2str(bestg),'-s3-p0.01'];model=svmtrain(TS,TSX,cmd);[predict]=svmpredict(TS,TSX,model,'-b0');predict=mapminmax('reverse',predict,TSps);str=sprintf('均方误差MSE=%g相关系数R=%g%%',mse(2),mse(3)*100);disp(str);支持向量机输入输出数据初始化、测试样本和训练样本的设置与BP神经网络模型的设置相同,然后通过libsvm-mat的网格参数寻优函数的调用,对惩罚参数c和核函数参数g进行最优值寻找。先进行参数粗略选择,c的搜索范围设置为10-51010,g的搜索范围设置为10-5105,迭代步长设置为1,然后进行参数精细选择,c的搜索范围设置为1001010,g的搜索范围设置为10-5100,迭代步长设为0.3。参数选择完成后,再利用回归预测分析的最佳参数进行SVM模型训练。3
3.1结果与分析
多元线性回归、BP神经网络和SVM模型对土壤含盐量预测比较本实验采集盐渍土光谱数据,处理后作为输入数据,并检测土壤含盐量作为输出数据,将这些数据分为训练集和预测集来进行建模。在多元线性回归实验中,除去大于0.05大于显著水平的输入变量后建立的模型拟合精度为76.8%,效果并不理想,这是因为多元线性回归方法适用于线性数据的拟合,而土壤光谱数据是机理尚不明确的非线性数据,使用线性回归方法处理难免会出现误差较大的情况。图二是BP神经网络收敛过程,经过17步训练,测试集误差达到目标误差以下,为4.036×10-5,但测试集误差下降到5×10-4左右时就会出现反复迭代无法下降的情况,这是因为BP神经网络模型对样本数量要求较高,在小样本实验中,训练集和测试集都会出现数量不够,从而导致模型不稳定、测试集不具有普遍性、部分测试数据误第4期池涛等:基于高光谱数据和SVM方法的土壤盐渍度反演·5·差较大的情况。图三、图四是支持向量机参数模糊、精确选择结果,经过网格寻优得到的最优参数为c=9.849、g=0.0583,模型的拟合精度为99.4119%。从以上实验可以看出,线性回归方法、BP神经网络和支持向量机都可以完成收敛任务,BP神经网络和SVM的误差收敛稳定,训练、预测效果好。图3BP神经网络均方差变化曲线Fig.3VariationcurveofBPneuralnetworkmeansquareerror图4SVM参数模糊选择结果Fig.4SVMparameterfuzzyselectionresults图5SVM参数精细选择结果Fig.5SVMparametersprecisionselectionresults3.2土壤盐渍化预测模型对比对实验使用的三种模型进行误差分析对比,对比结果如图6。图6多模型误差对比Fig.6Multi-modelerrorcomparison线性回归方法最大相对误差为912.32%,最小相对误差为10.03%,由于个别测试值误差巨大,所以导致平均相对误差达到128.25%,这也说明线性回归方法并不适用于土壤光谱数据这种复杂非线数据的拟合;BP神经网络模型的最大相对误差为444.68%,最小相对误差为2.79%,平均相对误差为67.45%,增加土壤分类功能的复合神经网络模型的最大误差为158.35%,最小误差为0.55%,平均相对误差为32.213%,比较而言,传统的BP神经网络还是有部分预测数据误差较大的情况,百分35.84%的拟合精度也不理想,而改进后的复合BP神经网络模型的拟合精度达到了67.78%,预测精度远远高于传统BP神经网络模型,说土壤种类对土壤光谱数据的影响较大,通过修改模型减少这种影响可以提高预测模型精度;SVM模型的最大相对误差为37.341%,最小相对误差为0.431%,平均相对误差为9.253%,拟合精度明显高于BP神经网络模型,也达到了一个理想的精确度。之所以出现这样的实验现象,是因为BP神经网络模型对训练样本数量要求高,需要对数据进行大量的预先处理,而且在调试过程中需要大量的调整技巧,并不适用与土壤含盐量反演这样的小规模数据实验。支持向量机在这样的小规模数据实验中表现较好,因为支持向量机有着严格的数学理论作基础,会先经过大量计算来求出全局参数最优解,省去了数据预处理的阶段,并且可以有效避免神经网络易出现的局部极值问题,因此支持向量机模型的预测精度会高于多元线性回归模型和BP神经网络模型。4结论
本文以喀什地区和上海沿海地区为研究区,采集了270个土壤样品进行土壤盐渍化预测研究。实验选取了多元线性回归模型、BP神经网络模型和支持向量机模型来预测土壤含盐量,探究这三种模型在土壤含盐量预测中的适用性,结论如下:(1)多元线性回归方法在预测土壤含盐量时,会出现个别预测结果误差极大,整体预测精度也不高,不适用于复杂非线性数据的拟合实验中;·590·山东农业大学学报(自然科学版)第49卷(2)BP神经网络模型受样本数量影响较大,样本数量不足会导致模型不稳定,所以会出现土壤类型对精度影响大的现象,经过改进后的BP神经网络模型,实际实验中均方误差为32.213%,基本可以完成预测任务;(3)SVM模型有着严格的数学理论基础,在小样本实验中表现也更好,拟合精度达到99.4119%,在实际实验中均方误差为9.253%,预测结果非常理想。参考文献[1][2][3][4][5][6][7][8][9]周萍.高光谱土壤成分信息的量化反演[D].北京:中国地质大学,2006Ben-DorE.Quantitativeremotesensingofsoilproperties[J].AdvancesinAgronomy,2002,75(2):173-243郑光辉.江苏部分地区土壤属性高光谱定量估算研究[D].南京:南京大学,2010夏学齐,季峻峰,陈骏,等.土壤理化参数的反射光谱分析[J].地学前缘,2009(4):354-362彭杰,王家强,向红英,等.土壤含盐量与电导率的高光谱反演精度对比研究[J].光谱学与光谱分析,2014,34(2):510-514彭杰,刘焕军,史舟,等.盐渍化土壤光谱特征的区域异质性及盐分反演[J].农业工程学报,2014,30(17):167-174樊彦国,侯春玲,朱浩,等.基于BP神经网络的盐渍土盐分遥感反演模型研究[J].地理与地理信息科学,2010,26(6):24-27朱继文,刘丹丹.基于高光谱数据的土壤含盐量BP神经网络模型研究[J].东北农业大学学报,2009,40(10):115-118张晓光,黄标,季峻峰,等.基于可见近红外高光谱的东北盐渍土盐分定量模型研究[J].光谱学与光谱分析,2012,32(8):2075-2079[10]周宁,李超,满秀玲.基于Logistic回归和RBF神经网络的土壤侵蚀模数预测[J].水土保持通报,2015,35(3):235-241[11]EvgeniouT,PontilM.Supportvectormachines:theoryandapplications[M]//MachineLearningandItsApplications.NewYork:Springer-Verlag,2001:249-257[12]ShahraiyniH,GhafouriM,ShourakiS,etal.ComparisonBetweenActiveLearningMethodandSupportVectorMachineforRunoffModeling[J].JournalofHydrology&Hydromechanics,2012,60(1):16-32(上接第555页)[5][6][7][8][9]徐龙超,依艳丽,周晓阳.钙、磷平衡对番茄光合作用特性及防御酶活性的影响[J].北方园艺,2013(9):190-193ZhouHW,FengX.PolyphenoloxidasefromYalipear(Pyrusbretschneideri)[J].JournaloftheScienceofFoodandAgriculture,1991,57(3):307-313罗志军,田秀英.果树钙素营养研究进展[J].北方园艺,2006(1):56-58周卫,林葆.苹果幼果组织钙运输途径与激素[J].植物营养与肥料学报,2000,6(2):214-219欧毅,陶利春,王银合,等.采前喷钙和IAA对甜柿细胞质膜相对透性及果实品质的影响[J].西南园艺,2003,31(3):1-3[10]仝月澳,周厚基.果树营养诊断法[M].北京:中国农业出版社,1982[11]孔祥生,易现峰.植物生理试验技术[M].北京:中国农业出版社,2008[12]李贺,刘世琦,王越,等.钙对水培大蒜光合特性和品质的影响[J].园艺学报,2013,40(6):1169-1177[13]KeutgenAG,PawelzikE.Qualityandnutritionalvalueofstrawberryfruitunderlongtermsaltstress[J].FoodChem,2008,107(4):1413-1420[14]AsscheFV,ClijstersH.Effectsofmetalsonenzymeactivityinplants[J].PlantCellEnvironment,1990,13(3):195-206[15]李中勇,张媛,韩龙慧,等.氮钙互作对设施栽培油桃叶片光合特性及叶绿素荧光参数的影响[J].植物营养与肥料学报,2013,19(4):3-900[16]民,高辉远,StrasserRJ.快速叶绿素荧光诱导动力学分析在光合作用研究中的应用[J].植物生理与分子生物学学报,2005,31(6):559-566[17]王利军,李家承,刘允芬,等.高温干旱胁迫下水杨酸和钙对柑橘光合作用和叶绿素荧光的影响[J].中国农学通报,2003,19(6):185-1[18]郑秋玲,谭伟,马宁,等.钙对高温下巨峰葡萄叶片光合作用和叶绿素荧光的影响[J].中国农业科学,2010,43(9):1963-1968[19]张振兴,孙锦,郭世荣,等.钙对盐胁迫下西瓜光合特性和果实品质的影响[J].园艺学报,2011,38(10):1929-1938[20]关军锋,SaureM.果树钙素营养与生理[M].北京:科学出版社,2005[21]管雪强,杨阳,王恒振,等.喷钙对红地球葡萄果实钙、果胶含量和品质的影响[J].植物营养与肥料学报,2014(1):179-185[22]张利云,刘海河,张彦萍,等.钙对厚皮甜瓜坐果节位叶片衰老及果实产量和品质的影响[J].植物营养与肥料学报,2014(2):490-495[23]温明霞,石孝均.生长期喷钙提高锦橙果实品质及延长贮藏期[J].农业工程学报,2013,29(5):274-281
因篇幅问题不能全部显示,请点此查看更多更全内容
Copyright © 2019- axer.cn 版权所有 湘ICP备2023022495号-12
违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务