October 26, 2004
新闻搜索引擎的技术分析及google news的对照::[Search Engine]
既然有人提出要我带队开发新闻搜索引擎，我想其实这个提法是有一些问题的。
新闻搜索引擎不过搜索引擎的一类，预期说开发新闻搜索引擎，如果更准确的说不如说是开发一个“能够识别新闻”的“新闻爬虫”。
既然没有“新闻爬虫”这个概念，我就将其定义为“News Crawl”，这个News Crawl与以往的爬虫和蜘蛛有什么不同？难度何在？有和意义？
1] 新闻爬虫是机器爬虫，仍然是按照以往的爬虫程序进行运行，但是不同之处如下：
只爬固定的新闻站点，或者某个站点的某一个 directory 下。这样确保新闻的来源
爬虫对新闻站点进行分类／权重的计算是 机器＋人工 参与的
爬虫对新闻的抓取要频繁的多
爬虫要对新闻网页里面的垃圾（噪音，例如广告，无用的联接）信息能够精确的处理。
2] 以往的爬虫是一股脑的抓取，而新闻爬虫的Parser的难度要求是核心了。这点上基本上要用AI的一些技术放进去进行智能的分析。
3] 以往的新闻网站，例如新浪，搜狐，都是进行人工编辑，无论在人力上和时间上都有大量的浪费和延迟，因此新闻爬虫的好处不言而愉，就象有无数的机器编辑在帮网站进行浏览，提取，寻找新闻，当然新闻来源要快的多而且剩力得多了。
可惜的是，AI(人工智能)发展到今天，连一个网页的摘要都不能产生，因此在一定程度上看来还仍然需要人工的参与。
Trackback
You can ping this entry by using http://www.wespoke.com/cgi-bin/mt/mt-tb.cgi/633
Comments
我看了你做的东西。booso不就是stephen referrer的中文板么，新闻搜索则是把查询转给百度和google而后把结果合并。
你真的是搜索引擎专家么？除了靠几个术语玩弄概念之外，你真懂多少？
不要在这里骗人了。以为没有人能看穿你的把戏么。
Posted by: 过路的 at October 27, 2004 02:14 AM from 212.113.17.21小朋友家，不懂不要瞎嚷嚷，你还可以说google不就是googlebot的爬虫么？ 什么叫 referrer的中文版？你看过我写的说明么？不喜欢你自己也做一个搜索引擎好了，别来我这里。
Posted by: 6e at October 27, 2004 02:32 AM from 129.119.200.36论资历，我在美国和中国做软件和互联网都十几年了。你还嫩着呢。
我都搞不清楚你有没有脑袋。我何时说过google就是googlebot？？
说道底，你的新闻搜索引擎是偷百度和google的输出。所以到真的要你做一个新闻搜索时，你就不行了。不行就算了，还非要说什么这是人工智能的难题。那么google和百度怎么做的？
你的booso的来历我很清楚。你不就是在referr的基础上做了个关键字检索。这就是搜索引擎了？
你倒是挺会做基于搜索引擎的搜索引擎。
懒得和你这种自欺欺人的妄人理论...
Posted by: 过路的 at October 27, 2004 09:02 AM from 212.113.17.21哈哈，既然是前辈，“在美国和中国做软件和互联网都十几年了。我还嫩着呢”互联网做十几年了现在哪一个还有时间到处留言，还跟后辈们争风吃醋？莫非不很得志？
你见过互联网的新贵们到处撒口水么？顺便说一句，我互联网才做了一年。
说老实话，这也就是中国人大多一事无成的缘故吧，瞧不起别人的东西，自己又不做「或者不会做」，在这里浪费口水还不如自己做事情要紧呢。
Posted by: 6e at October 27, 2004 09:19 AM from 129.119.200.36hello,i read your words
guys,come to take a look at my site
http://pusu.91i.net
give me some suggestion
thank u,wish u good
大家不要吵，看看我的，这可是我自己开发的产品噢，现在已成功做了好几个栏目。。。。。哈哈哈哈，sports it news tech,,,,大家可以一起研究亚
Posted by: 哈哈哈哈 at November 17, 2004 02:09 AM from 218.82.96.135