感谢给我打电话的朋友，自从新浪科技刊登了我休息的消息很多朋友都打电话发短信来问候，感谢你们的关心。 过去几年我一直脚步不停的在忙碌，如今我真的有机会放慢脚步，甚至有机会停下来检查一下鞋子里的沙子。 搜索引擎沙龙很久没有办了，一直有朋友在问我什么时候从新开始，我想明年春暖花开的季节，万物复苏，我们会重新启动的。 卢亮 11/23/2006...
本周四（２月９号）晚上７点，在必思浓（博客吧）继续讨论搜索引擎。 主题是索引建立和更新的问题，同时会播放 bigtable 的录像。 讨论的问题为： 搜索引擎的分布索引的建立方法 难点在哪里？ 大规模索引更新的问题和解决方案 什么是bigtable？ bigtable有什么用处？...
搜索引擎战略大会（Search Engine Strategies Conference & Expo，以下简称SES大会）是由Incisive Media公司在全球范围举办的国际性会议。会议以搜索引擎营销和搜索引擎优化为主题，每次都能吸引大量的知名互联网公司、搜索引擎服务商、代理商和企业参加。 大会邀请互联网和搜索引擎领域的国际级专家，包括技术专家和商业应用的领军人物，通过主题演讲、专场活动、展览展示的形式举行。每次会议讨论的主题都成为引导互联网和搜索引擎技术和应用发展的重要理论基础和实践指导，已经成为业内公认最为权威的会议。 SES大会以巡回的方式在全球各大知名城市举办，已经承办过的SES大会城市有美国的纽约、芝加哥、迈阿密、圣何塞、加拿大的多伦多、法国的巴黎、德国的慕尼黑、英国的伦敦、瑞典的斯德哥尔摩、日本的东京。多数承办城市都把SES发展成了每年一次的固定形式。 2006搜索战略引擎大会将于2006年3月17日－3月18日在南京举办，这是中国首次承办这一国际性会议。 顺便说一句，我也会在明年３月参加于南京举办的搜索引擎营销大会。...
周末在上海参加。 昨天晚上在土豆的记录：2005中文网志年会前奏曲—土豆涂鸦party（来自郑泽锋）。...
博客吧/必思浓咖啡的地理位置： 地址：学院路和清华东路交叉口的东南角，清华东路路南，店门朝北。 地址: 北京 学院路6号富润家园底商5号 电话: 82395262 地区: 海淀区-成府路/知春路 菜系: 咖啡，酒...
名字是一个人的个性化符号，你的名字够特别吗？ 查查全中国有多少人的名字和你一模一样就知道了。 查查全中国有多少人的名字和你一模一样 那么，全国哪些名字最流行呢？这里公布的top 10姓名，竟然有120万人的名字都叫李刚！ 李刚：120万 李明：107万 王刚：105万 王磊：104万 王伟：88万 李伟：87万 李强：86万 张磊：83万 刘洋：80万 王强：68万...
中国有句古话，叫“道高一尺，魔高一丈。”当然，也有人这么说“魔高一尺，道高一丈。”这话的对错不管，总归说明了只要有“道”就有“魔”。 先从 spam comment 说起： 我写过若干篇关于blog 里留言里 spam 的解决方法：Mt 系统如何防止垃圾留言以及如何通过 .htaccess 禁止垃圾 refer，Ban IP/Spam in refer via .htaccess or httpd.conf，MT 防止垃圾留言的新方法，以上方法已经采用在自己的blog系统里，虽然垃圾留言全部封死，这一个月来大约有3篇漏网，但是同时很多人反映留言被过滤，trackback被 过滤。 垃圾留言的目的很简单： 1]留下联结，让不知情者访问。 2] 有连接，搜索引擎顺藤摸瓜，将垃圾网站的Page rank提高，从而达到 SEO的效果。 凡以上做法，现在已经为无数人痛斥，但是由于有搜索引擎的暴利可图，基本上是愈演愈烈了。 车东在他的日志里写道使用 nofollow 的teg （+1 rel="nofollow" = 为超链戴上的安全套 ），从而从搜索引擎端直接解决这个问题。这不单单是一个技术问题，而这个反映出搜索引擎公司已经注意到事态的严重，开始介入用户的行为，调整用户的行为，教育用户的行为。 搜索引擎终于妥协了。一直以来以机器进行分析，一直以来人们自豪的搜索引擎，终于发话了，意思仿佛说“小样的，你来骗我，小心！” comment spam 一个小小的魔，已经迫使机器改变了行进的路线。 再说Wiki ，wiki 仿佛是共产主义的一股清风，我使用Wiki的时候立即感觉到自己升华了许多。 好事不久，我开始发现有人肆意破坏了。并且留言“这东西真好玩，竟然可以随意改网页”。再后来我发现成了垃圾场所，再后来我关闭了 Wiki。我们自己启动project的时候，我开始对wiki进行加密，“小样的，想进来，没门！” 到了去年到处是 wiki spam，我已经不用wiki 好久了，想来想去最后还是得出结论，机器跟人斗，机器一定吃亏。 我的email 里每天有无数的垃圾邮件，我总惊讶于发垃圾邮件人的智商之高，甚至他们洞悉了最前沿的信息，例如有一天我的gmail收到一封“Google alert:XXX” 的邮件，实在是佩服垃圾邮件创造者的良苦用心和高屋建瓴的科技视野。 机器，一直陪伴我十多年了，我渐渐发现机器在变，变得务实，但是机器的理想一直都没有变，而变的是我们。...
又名“牛啦！”，英文域名 "niu.la"是一个集成书签，Rss，媒体收藏多功能的一个收藏夹系统。 注册后下载插件（IE），重新启动IE 就可以采用右键收藏了。 可以收藏rss并且直接浏览，注意请enable 安全级别的 activeX。 更多的说明在niu.la 帮助说明 我自己的书签:niu.la 里 6e的书签 欢迎大家注册使用。...
新浪是中国几个门户网里缺少搜索引擎的一个企业，当然，现在搜索引擎也不是什么核心技术，不过缺少一样东西对于作为门户的新浪毕竟是一种缺憾。 新浪不愧是财大气粗，闷声不响的采用了affini的搜索引擎技术做起来了一个叫做”I ask .com“，或者叫做爱问知识齐分享这样一套人与人进行交互的系统。这个系统从底层是采用了搜索引擎的构架，但是纳入了一些其它的要素，使得这个系统非常具有创新性和信息价值： 1] 基于搜索引擎的查询系统 2] 用户参与回答和悬赏问题的机制 3] 积分鼓励机制 4] 良好的分类机制 基本上这几项的功能已经能够保证 iask.com 立于不败之地了，再加上新浪众多的注册会员，可以说在功能上和创意上超越了百度贴吧 再说说这个为新浪提供搜索引擎的Affini，这个是由加州的华人（出生在台湾）William I. Chang创建的，Chang以前曾经是Infoseek的VP和CTO，后来公司被inktomi购买，他便创建了 affini 公司。 当然现在看到的这种大家共同参与创建资源的模式是对以往的 wiki 的一个非常大的冲击，而且也会更有吸引里。不是吗，新鲜的东西总有一些新鲜的用途。...
现在google的gmail已经可以enable pop3 和 smtp 了，就是说通过mail client可以自如的收发eamil了。 上周我配置过了我的kmail，今天已经可以收取和分发信件了。其中gmail提供了两种配置，一种是只针对从今收到的email，另外一种是以往的email也可以通过pop3下载。 以上是我kmail的配置。 参考：Gmail 开始提供 pop3 的支持...
对于中文搜索引擎，切词和分词相当的关键，而对于分词和切词，最重要的莫过于一个好的分词词典了。从原始的电子字典，经过筛选，剔出调单字和极高频字。然后将词频的权重进行换算就得到了这个词典。 感觉还不错，例如中文里最高频的5个词依次是： 词根 权重 中国 152 经济 128 企业 123 国家 119 记者 118 想不到记者也能排到前列。 针对分词的另外一个常用的字典就是中国人的姓名的构成分配表，这个我会在近期发布。 词组字典下载「从ccdos的拼音表里制作」 分词及权重字典「从电子字典统计制作」...
突然发现MSN登录出现错误，给出error code 0x81000301，以前就是等等算了，这次干脆干调它了。 注意，保留 my received files先。 下面是解决方案： If you just want use MSN, why not try msn web messenger? It have all the msn messenger functions but you don't need install any software, what you need is a browser. Else, you can do this: Windows 98 or Millenium users 1) Click Start > Run 2) Type: %windir% and press enter. 3) Open Application Data and then the Microsoft folder. 4) Right-click the MSN Messenger folder and delete it. Note: if you're using Profiles with Windows 98/ME, you'll need to go to the Profiles folder, choose your username and then go to the Application Data folder (then continue with the same process). If you don't know if you have Profiles setup, most likely you do not (if you don't have Profiles folder in the Windows folder, then you aren't). - Windows 2000 or Windows XP users 1) Click Start > Run 2) Type: %appdata%\Microsoft and press enter. 3) Right-click the MSN Messenger folder and delete it. Now restart MSN Messenger and try to sign in again... error code 0x81000302 ? Ham, this is mostly because your internet is down, make sure that your internet work atfirst then try login again....
In the Apache+tomcat clustering, tomcat server maybe down after several days running, I wrote a script to watch on the free memory and the response of the tomcat. this script will auto restart tomcat when the response is very slow and the free memory is less than 15K. cat watch.sh #!/bin/sh cd /root/bin PID=`ps -aef | grep Xms500M | grep -v grep | gawk '{print $2}'` PID=`expr $PID + 1 - 1` date free echo $PID echo "------------------" if [ $PID -eq 0 ] then sleep 10 /usr/java/tomcat/bin/startup.sh sleep 160 fi while [ 1 ] do date free echo "Tomcat process ID is $PID" wget http://192.168.1.101/jsp/w_blog/blog.jsp -O working.jpg 2>> /dev/null & sleep 120 touch working.jpg SIZE=`du working.jpg | gawk '{print $1}'` if [ $SIZE -le 20 ] then WID=`ps -aef | grep 192.168.1.101 | grep -v grep | gawk '{print $2}'` WID=`expr $WID + 1 - 1` if ! test -z $WID then killall wget fi echo "Tomcat restart checking......" free vmstat FREEMEM=`free | grep Mem | gawk '{print $4}'` if [ $FREEMEM -le 15000 ] then if [ $PID -ne 0 ] then kill -9 $PID ls -l /usr/java/tomcat/bin/shutdown.sh fi /usr/java/tomcat/bin/shutdown.sh sleep 10 /usr/java/tomcat/bin/startup.sh sleep 30 fi date ps -aef | grep -v httpd ls -l PID=`ps -aef | grep Xms500M | grep -v grep | gawk '{print $2}'` PID=`expr $PID + 1 - 1` fi rm -f working.jpg done...
http://www.blogdriver.com switch to shanghai IDC, we have 3 more servers. In the last few days we worked on the clustering and load balancing. It seems working great after we setup Load balancing and clustering. configure: Hardware: dual-cpu xeon. 2.4G 1Gmem Linux server Broadcast: 228.0.0.4 Server: app1 + app2 +app3 Testing: sessions can duplicate in different servers. Tolerance: 2.96 times VS the single server configure file: apache mod_jk , server.xml There is an article I highly recommand:...
since grep can't support binary or extend-coding, I change most of my scripts to pcregrep. To my surprise, the script runing much faster after I switch to pcregrep: Here is a example: mcfarm:~/work/rootfit/background-only-step1/output$ time pcregrep 1000 exper.1.data > /dev/null 0.940u 0.030s 0:00.97 100.0% 0+0k 0+0io 103pf+0w mcfarm:~/work/rootfit/background-only-step1/output$ time grep 1000 exper.1.data > /dev/null 28.350u 0.470s 0:29.45 97.8% 0+0k 0+0io 155pf+0w 0.94 VS 28.35 !!! Generally say, pcregrep is more than 20 times faster then grep. pcregrep searches files for character patterns, in the same way as other grep commands do, but it uses the PCRE regular expression library to support patterns that are compatible with the regular expressions of Perl 5. See pcre(3) for a full description of syntax and semantics. If no files are specified, pcregrep reads the standard input. By default, each line that matches the pat- tern is copied to the standard output, and if there is more than one file, the file name is printed before each line of output. However, there are options that can change how pcregrep behaves....
1] Change '&'#XXXXX;' to Utf-8: perl -p -e 's/&#(.....);/pack("U", $1)/eg' 2] Change \xb?\xb? to GB2312 perl -p -e 's/\\x(..)/pack("c", hex($1))/eg' 3] Change %C2%D2%C2%D7 to gb2312 perl -p -e 's/%(..)/pack("c", hex($1))/eg' basicly, jv-convert is the best tool to convert different formats in UNIX/Linux: jv-convert --from UTF-8 --to gb18030 : jv-convert --help Usage: jv-convert [OPTIONS] [INPUTFILE [OUTPUTFILE]] Convert from one encoding to another. --encoding FROM --from FROM use FROM as source encoding name --to TO use TO as target encoding name -i FILE read from FILE -o FILE print output to FILE --reverse swap FROM and TO encodings --help print this help, then exit --version print version number, then exit...
Seems that the Chi2 will represant some info of the Significant but which depends on the floating paramaters. An other possible is using the negative likelihood distribution to move the margin of the to no signal yield and then find out the fitting result. More information: http://www-cdf.fnal.gov/physics/statistics/statistics_faq.html#iptn3...
#!/bin/sh # Author Liang # Modified at June 14 2004 # rm mp3.list html.list link.list mp3topsong.html wget http://list.mp3.baidu.com/topso/mp3topsong.html cat mp3topsong.html | tr \" \\n | grep htm$ >html.list CC=1 for VAL in `cat html.list` do #wget http://list.mp3.baidu.com/topso/$VAL -O $CC.html cat $CC.html | tr \" \\n | grep mp3\$ | grep http | head -1 >> mp3.list echo -ne "$CC " >> link.list cat $CC.html | tr \" \\n | grep mp3\$ | grep http | head -1 >> link.list CC=`expr $CC + 1` done CC=1 for VAL in `cat mp3.list` do echo $CC wget $VAL -O $CC.mp3 echo $VAL CC=`expr $CC + 1` done more mp3topsong.html | sed "s/target=_blank/\\n/g" | grep ^\> | grep href | cut -f1 -d\ |grep ^[0-9] > name.l ist CC=1 while [ $CC -le 600 ] do NAME=`grep ^$CC' ' name.list | gawk '{print $2}'` LINK=`grep ^$CC' ' link.list | gawk '{print $2}'` echo $NAME $LINK CC=`expr $CC + 1` done...
The white noise can be a flat or other distribution, here I simulate a flat white noise + a gaussian signal. Using the scan method and unbined maximun likelihood fit to find out the max significance on a pure white noise. #!/bin/sh NUMOFDATA=1000 TIMES=10 COUNT=0 STEP=5 echo 10000 >log.data echo 10000 >log.img GenShell() { echo "#!/bin/sh" echo echo "root echo echo echo 'gSystem->Load("libRooFitCore.so") ;' echo 'gSystem->Load("libRooFitModels.so") ;' echo 'RooRealVar mass("mass","mass",0 , 100 , "Gev/c^{2}") ; ' echo 'RooRealVar mean("#mu","#mu",0, 5,"Gev/c^{2}") ;' echo 'RooRealVar sigma("#sigma","#sigma",3, "Gev/c^{2}") ;' echo 'RooRealVar gausFrac("Gaussian Fraction","Gaussian Fraction",0 , 1 ) ;' echo 'RooGaussian g("g", "Gaussian", mass, mean , sigma );' echo 'RooPolynomial p("p", "Polynominal", mass);' echo 'RooAddPdf model("model", "Gaussian + Polynominal",RooArgList(g,p),gausFrac);' echo 'gausFrac.setVal(0.0);' echo echo echo 10000 >log.img while [ $COUNT -lt $TIMES ] do echo "RooDataSet *data=model.generate(mass, $NUMOFDATA);" echo 'data.write("generate.data");' echo echo MASS=0 MAS2=0 while [ $MAS2 -le 95 ] do MAS2=`expr $MASS + $STEP` #echo "mean.setVal( $MASS, $MAS2 );" echo "mean.setFitRange( $MASS, $MAS2 );" echo 'RooFitResult *fs = model.fitTo(*data, "rq");' echo 'fs->Print("v");' echo 'RooPlot *frame=mass.frame();' echo 'data->plotOn(frame);' echo 'model.paramOn(frame, data);' echo 'model.plotOn(frame);' echo 'model.plotOn(frame,Components(p), LineStyle(kDashed));' echo 'frame->Draw();' echo 'TCanvas *c = new TCanvas;' echo 'TH1F *h = new TH1F( );' echo 'frame->Draw();' echo 'TImage *img = TImage::Create();' echo 'img->FromPad(c);' echo 'img->WriteImage("canvas.png");' echo 'delete h;' echo 'delete img;' echo 'delete c;' echo '.!./move.sh img' MASS=`expr $MASS + $STEP` echo echo done echo echo '.!./move.sh data' COUNT=`expr $COUNT + 1` echo echo done echo '.q' echo echo echo "EOF" } GenShell > ./poloynamial.root chmod 755 poloynamial.root ./poloynamial.root > output.data mv 100* data...
SSH is the descendant of rsh and rlogin, which are non-encrypted programs for remote shell logins. Rsh and rlogin, like telnet, have a long lineage but now are outdated and insecure. However, these programs evolved a surprising number of nifty features over two decades of UNIX development, and the best of them made their way into SSH. Following are the 11 tricks I have found useful for squeezing the most power out of SSH. Installation and Versions...
root [1] RooRealVar x("x", "x", -10,10 ); root [2] RooRealVar mean("mean", "mean of Gauss", 0, -10,10 ); root [3] RooRealVar sigma("sigma", "width of gaussian", 3); root [4] RooGaussian gauss("gauss", "Gaussian PDF", x,mean, sigma ); Error: Function RooGaussiangauss("gauss","Gaussian PDF",x,mean,sigma) is not defined in current scope FILE:(tmpfile) LINE:1 Possible candidates are... filename line:size busy function type and name *** Interpreter error recovered *** root [5] gSystem->Load("libRooFitModels.so") ; root [6] RooGaussian gauss("gauss", "Gaussian PDF", x,mean, sigma ); root [7] RooPlot* xframe = x.frame(); root [8] gauss.plotOn(xframe); root [9] xframe->Draw(); : created default TCanvas with name c1 root [10] Info in : GIF file c1.gif has been created root [13] RooDataSet* data=gauss.generate(x,10000); root [14] gauss.fitTo(*data); root [15] RooPlot* xframe2 = x.frame(); root [16] data->plotOn(xframe2); root [17] gauss.plotOn(xframe2,"L"); root [18] xframe2->Draw(); root [19] Info in : GIF file c1.gif has been created...
Athena is the framework based on GAUDI, actually GAUDI is still the kernel of Athena. By the year of 2006, then experment of ATLAS start, the Athena will be the main framework to proess the Giga data from the collication. In short , let have a look of running Athena 7.0.2 in BNL farm: 1] ssh user@atlasgw.bnl.gov 2] ssh acasxxx 3] mkdir work 4] cp ~lul/requirement . 5] cd work cp ~lul/work/source.csh . 6] source source.csh cmt co TestRelease 7] cd work/TestRelease/TestRelease-00-00-16/cmt 8] source setup.csh 9] cmt config 10] cmt br gmake 11] source setup.csh 12] cd ../run 13] find dc1.000032.simul.0001.test.higgs130_4e.zebra ln -s dc1.000032.simul.0001.test.higgs130_4e.zebra ZEBRA.P 14] wget http://www.usatlas.bnl.gov/atlas_psc/guide/reconstruction/example/MyRecExCommon_jobOptions_h.txt 15] athena MyRecExCommon_jobOptions_h.txt > & rec2.log 16] done...
Out of luck again. Since last friday, my home internet was turned off without notification. I made dozens of calls and finally got some one take care of it after my internet was down for 70 hours. "......" "......" Me: "Don't tell me to unplug my cabelmodem again, I have been told to do so far more than hundred times." Comcast:"Do you wait for more than 30 seconds when you reconnect it?" Me:"Do you think I am idiot? I show respect to your service unless you take serious and know what happened to my internet connection, not just telling me turn off cabel modem for certain seconds and then power on it." Comcast:"there is an outrage in your area, so, this may cause your internet problem" Me:"How far do you think I am living from my neighbor? we are living in city, not in ranch, not miles away! I just checked my email using their wireless" Comcast:"Ok, .... well, we do cut down your cabel TV service, since you don't have this service..." Me:"Please!!!! I don't have any cabel TV service!!! we are talking about my HIGH SPEED INTERNET." Comcast:"Ok, let me check, I will put you on the service list.... bla bla"...
Stephen stoped his referral system, I have to setup one by myself, this is not only help myself and also others to take advantage as well. Fix some bugs and config it for easy used: add such line in your webpage, it wil show who have linked to your website in last 24 hours. It is just a refer system, still have bugs and need fix the spam referras....
Today I launch the Wikicn.com Which I will change it to be a multi-user wiki, which mean users can register to have their own wiki and start a project and administer his wiki as well. wikicn.com is a machine Celeron 633 with 64M memory running Linux, pretty slow :( Thanks Leafdown and Nio...
Tim从上海回来了，出乎意料的是，RFID的生意竟然有了一些进展。这的确却有些意外，竟然还有一些小插曲。 当然，我也是一个受益者，老大带回来了一个小项目，虽然只有几万美元，可是对于我来说如果接做好了，就能起死回生，也能确定未来公司的发展方向和目标。 都说互联网上第一桶金是最重要的，如果这样，这一桶对于我来说就是至关重要的开始了。 单纯的网络服务能有多大的利润空间，烧钱能烧6个月还是3个月？一个项目常会影响到未来的方向，因为这里面的惯性是不言而喻的。...
网络十年也是中国计算机业发展的十年，也是Linux在中国发展的10年。 1993网络开始出现在我的生活里，到现在整整10年了，这10年是网络发展最迅猛的阶段，也是我自己发展的一个缩影。10年的时间，中国的网络逐渐成熟，也逐渐完善，有幸作为中国网络发展的见证人，希望用本文纪录我一个普通人眼里的网络史。 ------卢亮 [VAX 8700] 1993年，还不足19岁的我在一个老师的鼓动下选择了本系的一个高能物理实验室，进行实习。其实那是我才大二暑假，离毕业还有3年。导师是我的一个叔叔的同学，自然对我照顾周到。在进实验室之前，我的计算机的知识一直停留在Macintosh和IBM PS/2上，而网络的概念是书本上得到的。 进实验室的第一周，导师Z就带着我一起去了西区的计算中心，为我办了一张[计算机上机证]。感谢这张上机证，我就从这里了解了网络的雏形。 那个时候科大的计算中心还没有建立与教育网的连接，不过内部已经具有一定的雏形了。据一个老师讲“教育网破破烂烂，不知道要那年才能通“，其实两年后教育网就成了大家玩MUD的地方了。 当时计算中心大约有200台微机，包括另外一些网络终端和几台小型机和中型机。我的账户是使用VAX 8700，这是DEC公司的产品，现在早已经绝迹了。这台VAX在6年后的我花2分钟让Lucent就追着我签合同中起了不同寻常的作用，这是后话了。 刚接触VAX几乎是手忙脚乱，不知道从哪里下手，因为完全是字符终端，连鼠标也没有配备。向导师求救，他给了我几本尺厚的[VAX 8700]使用手册，全英文的资料。 接下来的一个暑假，每天抱着那几本手册，一边读一边在VAX试那些指令。从ls开始，到管道，到最后的系统信息，swap的结构。暑假结束的时候已经属于机房里略显熟练的那些人了。 VAX给我的一个好处的就是时刻需要思考，因为没有图形界面，没有鼠标，键盘和发绿光的CRT成了我的好朋友。网络的基础知识也是在这个时候形成的，当我用Telnet从一台终端联结到另外的计算机上的时候，真正感觉到了网络的伟大，更不用说ftp可以传输文件。 那个时候，第一次接触了数据磁带，MAXWELL的磁带，260M的容量，跟普通的大盘5'比较起来，简直是天壤之别。而现在的数据磁带，三寸，SONY一般是10G的容量。...