24小时热门版块排行榜

返回列表

【奖励】本帖被评价4次，作者dnp增加金币 4 个

当前主题已经存档。

当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖

dnp

荣誉版主 (知名作家)

[资源] 数据平滑方法简介（二）

间隔两个星期，半个月，终于第二篇出来了，拖了这么长时间实在很抱歉。然而对于色谱中的平滑方法，似乎大家的兴趣不是很大，也可能是鄙人学识有限，对于数据处理的解释没有任何吸引力。因此，此篇帖子发出之后，暂停对化学计量学的介绍，将进行地下工作，潜心修炼。同时也多谢大家的支持。辜负于斑竹们的期望，实在惭愧。
   在这篇帖子中进行的主要内容是傅立叶变换以及小波变换。对于此二者，我想搞分析化学的并不陌生，而国内此方法应用于化学计量学做的最好的应该是南开大学的邵学广教授。呵呵，此文中如果对傅立叶变换与小波变换的说明有什么不妥之处，请多多指正。
   任何随时间变化的性质都可以分解为其谐波组分。通过正弦波与余弦波的叠加来对随时间变化的信号进行分解，得到这个信号的频率信息。而正弦波与余弦波的叠加，或者说是线性组合，正是傅立叶变换中最基本的概念，傅立叶级数。对于在时域中的信号，傅立叶变换用傅立叶级数作用于信号，通过积分得到该信号的频率信息。而将傅立叶用于数据平滑就是采用的这种思想。因为对于数据而言，噪声信号同物质信号的频率是不一样的，前者很高，后者很低，所以用傅立叶变换得到此信号的频率信息之后，如果可以将高频信号即噪声除去的话，那剩下的信号不就是我们的物质谱信号么？
   幸运的是，同样借助于傅立叶变换，我们也可以将频率信息转变为信号，这就是所谓的傅立叶逆变换。故，通过傅立叶变换得到信号的频率信息，剔除高频，利用傅立叶逆变换对低频信息进行变换，得到的就是剔除噪声之后的信号。然而，通过利用傅立叶变换对数据进行处理，得到的结果却不尽人意，因为存在比较严重的失真情况，如图1所示，虽然噪声剔除很明显，但是整个数据的信号响应值却发生了很大的变化。这个问题我暂时还没有得到一个满意的解答，如果有谁清楚，敬请答复，一起讨论一下。
   小波变换是目前非常火热的一块，邵学广教授将其应用于化学计量学取得了不错的成果。小波变换之所以能够取代傅立叶变换，其原因就是傅立叶变换应用于整个信号区域，在整个信号区域中使用的都是同一傅立叶级数以对整个信号区域进行分解。然而这样就会使其缺少对信号的一个分辨能力，即对分辨率的辨别(这个我在处理过程中没有发现，因此照搬分析化学第十分册的用语)，如果有信号中有一个错误产生，就会殃及整个数据的分解结果。在这种情况下，小波变换被应用于信号处理之中，并且应用日益广泛。
   小波变换其实就是借小波变换中的多分辨特点来对数据进行分解，通过由Mallat提出的多分辨信号算法来实现对数据的逐层分解，最后得到原信号的低频信息，然而此过程亦非常复杂，希望有兴趣的可以借专门的书阅读理解。分解后利用反变换，对得到的低频信息进行还原(这个也是小波变换与傅立叶变换的特点，能够对分解之后的信号进行还原)，滤掉高频信号，从而达到了具有噪声信号的平滑除噪的目的。小波的最主要特点就是多分辨特点，其就是对数据有一个观察，低频信号的分辨率低，高频信号的分辨率高，这就克服了傅立叶变换中对数据认识不够所产生的缺陷；同时，小波变换中有许多基函数可供选择，从而使小波具有很强的灵活性。
      傅立叶变换和小波变换通过matlab的函数可非常简便地实现，傅立叶变换用f=fft(x)，逆变换用y=ifft(f,n)实现，通过变换得到的频率图和逆变换得到的平滑后的数据图如图1中的Fig 2所示，当我们滤去高频率部分后所得的平滑数据如图1中的Fig 3,4所示，前者滤去了频谱图中的频率大于15Hz的信号，后者滤去了频谱图中的频率大于20Hz的信号，似乎后者要好一点。
      对于小波变换，Matlab中有专门的小波变换工具箱，如果逐层分辨可以用离散小波变换函数y=dwt(x)，一层一层得到最后的理想的平滑信号，而我这里用的是函数离散静态小波变换：y=swt(x,n,'wavefun')，其中，x是数据，n是层数，即逐层分解数，'wavefun'是小波基函数，图2是通过5层分解得到的平滑后的图，可见效果非常好，同时红框中的奇异峰也给消掉了。
      图3是一个信号响应非常低的GC-MS总离子流图，红色方框中是两个物质峰，通过傅立叶变换和小波变换都能够检测出来，但是失真情况两者却有很大差别。

[ Last edited by 佳怡 on 2009-4-24 at 20:50 ]

回复此楼