November 18, 2004

基于傅立叶变换的网络异常态和点击作弊的分析::[Search Engine]

很多的时候网络异常态的判断需要有非常精确的做法，因为预警系统一旦启动如果误判将造成非常多的不必要的麻烦。以往的多种滤波模型例如卡尔曼滤波等由于起计算的复杂和滤波矩阵的繁琐，一直不被业界看好。

点击作弊是网络广告亟待解决的一个难题，因为单纯的根据IP，出现的概率已经不能满足在大用户量点击的情况下发决出那些是fraud click，哪些是正常的点击，因此一直一来是一个难以解决的难题。

参考我以前写的如何防止google adsense fraud clicks(欺骗点击作弊) 的分析

本文在这里给出通过傅立叶变换进行网络异常态的判断和惊醒作弊点击的帧测。

傅立叶变换最初是数学上连续函数进行分解的一种方法，也是数字信号处理中的基本操作，广泛应用于表述及分析离散时域信号领域。

进行 k失（又叫波失）到X(空间)的变换，得到：

傅立叶变换广泛的应用在光谱分析和信号处理上，举一个简单的例子，我们通常使用的压缩算法就是从傅立叶变换里得到的。

最初的傅立叶变换是针对连续函数，构造Deta函数后可以针对离散函数进行，然而傅立叶变化的速度很慢，因为收缩的因子跟 1/N 成正比，后来有人提出了快速傅立叶变换：FFT ，再后来进入了小波分析 wavelet ，算是彻底的将傅立叶的技术应用到了工业界。

网络异常的判断最主要的依据就是能够进行短时间内判断网络接入量的频率(频域的分布)，在依据以往时间段的频域的分析进行对照，如果连续出现在一个稀少区域，那么就是有异常发生。

点击作弊计算两点，第一，点击作弊属于网络异常态，但是基本上属于高频段。
第二，点击作弊的访问频域的分布如果跟正常态有出入，那么则有嫌疑。

对博索进行了网络异常态和点击作弊的分析，基本上结果是正面的，看下图。

参考文献：
http://www.cwp.mines.edu/%7Ezmeng/waveletlab/waveletlab.html
http://astronomy.swin.edu.au/~pbourke/analysis/dft/

Trackback

Comments

Post a comment