升级于2010-6-10，发现了一个bug，当时用notmatch模式时，如果文件2先eof将导致文件1中的内容没有输出
这个是最近做数据统计用的比较多的一个脚本，目的是根据key值，输出文件中相同或者不同的行。例如文件A的样子：
10000007^H_O
10000036^Hzerui
10000037^Hyanpeng_haha
文件B的样子：
10000037^Hyanpeng_haha
注意文件中的^H是一个字符，在vim中使用输入ctrl+v再输入ctrl+h就可以看到了，这里用它主要是起到文件不同列之间的分隔符作用
使用命令
php mygrep.php A B
可以得到“10000037^Hyanpeng_haha”这一行数据，使用命令
php mygrep.php A B “notmatch”
可以得到另外两行数据。
脚本默认使用第零列作为筛选依据，默认使用^H作为分隔符，在脚本中自己配置一下可以更改。脚本工作时，要求筛选依据是已排序的。对于排序，可以使用sort命令操作文件，sort通过-t参数指定分隔符，-f指定按照那一列进行排序。
mygrep.php的代码:
$base_file_name = $argv[1];
$check_file_name = $argv[2];
$mode = isset($argv[3])?$argv[3]:false;
$field_index = 0;
$delimiter = ',';
//////////////////////////////////////////////////////////////
$base_file = @fopen($base_file_name, 'r');
$check_file = @fopen($check_file_name, 'r');
$read_base_file = true;
$compare_result = 0;
$readed_base_file_arr = array();
//以要检查的文件作为外层循环
while(!feof($check_file)){
//读取要检查的文件
$readed_check_arr = explode($delimiter, trim(fgets($check_file)));
do{
//读取基准文件
if($read_base_file === true){
$readed_base_arr = explode($delimiter, trim(fgets($base_file)));
}
//作比较
$compare_result = strcmp($readed_check_arr[$field_index], $readed_base_arr[$field_index]);
$grep_flag = ($compare_result == 0);
//如果是要取出不相等的数据
//且检查key小于或等于基准key时，说明需要将检查key下移一行,即此比较key已经比较完成
//此时如果比较结果相等则不输出,
//如果比较结果不等，并且检查key大于基准key则输出,如果检查结果小于基准key，说明检查key要下移继续检查
if($mode !== false && (strcmp($mode, "notmatch") == 0)
&& $compare_result >= 0){
$grep_flag = !$grep_flag;
}
//print("comparing check=".$readed_check_arr[$field_index]." base=".$readed_base_arr[$field_index]." result=$compare_result
grep_flag=$grep_flag\n");
if($grep_flag){
print implode($delimiter, $readed_base_arr)."\n";
}
//总是设置为要读取，如果跳出循环，则由外面设置
$read_base_file = true;
//如果检查的key是大于基准的key，并且检查文件未到尾，则重新读取一行基准文件进行检查
}while($compare_result > 0 && !feof($base_file));
if(feof($base_file)){
break;
}
//当检查key小于基准key时，不读取下个基准key,等于则是因为已经比较过，两个都需要读取
if($compare_result < 0){
$read_base_file = false;
}
}
//当check_file结束了但是base_file未结束
do{
print implode($delimiter, $readed_base_arr)."\n";
$readed_base_arr = explode($delimiter, trim(fgets($base_file)));
}while(!feof($base_file));
fclose($check_file);
fclose($base_file);
---------------------------------------------------------------
本站作品根据创作共同协议进行授权, 转载时请务必以超链接形式标明文章原始出处
原文地址：http://www.mirecle.com/2010/02/02/file-grep-select-two-files-same-different-content.html
---------------------------------------------------------------
前连天看见的，节选自《人渣经济笔记》
老头是中美两军交往的开先河者，也是第一个到中国的国防大学执教的美国教授，在中国的军界和外交界似乎有些熟人。晚饭中间，老头不止一次提到张震（国防大学当时的校长）还有杨洁篪，说他认识杨洁篪的时候，现在的外长当年还只是中国驻美国使馆的一个二秘。据谷主的老师说，2001年中美撞机之后，美国还请老头出面做中国工作，这些事情的真伪我就没法知道了。
也许是军人家庭纪律严明，整个晚饭桌上，主人一方主要就是老头一个人说话，客人一方就变成了我主说，谷主偶然插些话。晚饭的过程中，老头突然看着我，问道：你怎么看Google要退出中国这件事情？有那么一秒钟，饭桌上一点声音都没有。
然后我说：我完全不知道Google这么做的动机是什么，不过显然不是因为Google自己冠冕堂皇说的中国的互联网审查。中国的互联网审查从Google进入中国的第一天起就在那里，Google要是因为这个退出中国，那早该退出了。Google自己也一直说：尽管有互联网审查，Google在中国的存在也使得人们可以获得更多的信息，因此洁版的Google也比完全没有Google在中国强。
老头说：也许是这一次忍无可忍了呢？特别是来自中国的黑客攻击了Google，特别是那些持不同政见者的帐户。
我于是问道，这也是我一直有的一个问题：你真的觉得那些黑客是政府支持的？（中国黑客犯下过不少“大案”，Google的事情当然媒体上报道的比较多，我还知道一些根本没有被报道，但破坏性更大的中国黑客进入系统的事情）。
老头觉得有可能，然后说了一个故事，以及他的一个猜想。他说他有一个朋友在中国谈一个大买卖，在等总部的一封重要邮件，这个邮件左等右等就是不来。他担心这个邮件可能被中国的安全部门截留了，后来只能自己飞到东京，跟总部谈妥之后，告诉总部再发一封邮件，里面如此如此说。这封邮件，他也永远没有收到。后来在谈判中，对手很明显掌握了假的底线，所以他的朋友在谈判中就占了便宜。所以老头的猜想就是，黑Google的人可能是有政府背景的，但完全未必是因为政治上的考虑，而是出于商业上的考虑。这件事情和最高层没有任何关系，可能只是一些中层官员们，为了在商业上给Google的对手一些优势，所以干了这些事情。老头悠悠的说：中国的政府机构很多时候看重的其实是商业利益。
且不说老头的猜想是否真的，但这种利用gfw做一些私事在我国还是非常可能的，尤其电子邮件本身就是明文传输的，有的时候邮件服务器出现故障，甚至都能发错邮件地址。被人截获也只是在“窃取商业机密”上面打个擦边球吧。国内的高官利用私人关系，做点这样的小事情实在不算什么。
gfw虽然很多人骂（包括我），但从正面来讲，它为净化网络环境还是起到了非常明显作用的，记得长尾理论里面有个图，google在国外97%的搜索都是与性有关的，国内相关法律不健全，就算健全了也不具执法条件，无法起到保护未成年人的作用。
---------------------------------------------------------------
本站作品根据创作共同协议进行授权, 转载时请务必以超链接形式标明文章原始出处
原文地址：http://www.mirecle.com/2010/02/01/google-out-behind-the-scenes.html
---------------------------------------------------------------
有的时候，由于我们队Java api理解上面的错误，可能会导致出现一些意外的问题，比如内存泄露。认为虚拟机会为你创建一个新的对象，引用了不同的内存区域，结果却和想象中的不一样，导致服务宕机。
今天在查网关的内存溢出问题时，发现问题出现在String.split函数上面。大家都认为Java中的String是只读的，new新对象的时候一定是分配了新的内存，但虚拟机内部却不一定如此。sun的hotspot1.5版本在实现java的类时做了优化，为了减少内存拷贝，一个String对象可能会引用另外一个String对象的内存。查看jdk的源代码可知，String内部是用一个名为value的char数组存储内容的，但同时另外也有两个int类型的变量：offset与count。
查看String.split()函数的源代码，随后调用的是Pattern.split()，随后调用String.subSequence()，随后调用String.substring()。String的substring代码如下
public String substring(int beginIndex, int endIndex) {
if (beginIndex < 0) {
throw new StringIndexOutOfBoundsException(beginIndex);
}
if (endIndex > count) {
throw new StringIndexOutOfBoundsException(endIndex);
}
if (beginIndex > endIndex) {
throw new StringIndexOutOfBoundsException(endIndex - beginIndex);
}
return ((beginIndex == 0) && (endIndex == count)) ? this :
new String(offset + beginIndex, endIndex - beginIndex, value);
}
如果看到最后return的是new String，以为就是一个新的String就真的囧了，这不是一个向外开放的构造函数，它创建了一个新的对象，却是用的原来String对象中的内存
// Package private constructor which shares value array for speed.
String(int offset, int count, char value[]) {
this.value = value;
this.offset = offset;
this.count = count;
}
本来这样进行优化无可厚非，但在网关的应用情况下就出现问题了：
一次性查询得到一个String，里面记载了1000条数据结果，将这1000条数据结果拆分，封装成1000个对象，存在缓存里面。缓存是用LinkedHashMap，当Entry达到一定数量时就进行淘汰。这样就导致这1000个对象都淘汰了，才会释放存储了1000个数据的String，这个String可是相当的大啊。
又因为查询的时间段是有重叠的，导致每次查询的String都记载了很多重复的内容，虽然缓存里面只对String不同的地方保持了一次引用，但是却无意间存储了大量的无用数据。这就导致了jvm的内存溢出。
好多年没搞java了，结合以前上学时候查java内存泄露的一点经验，说明了：
1.出现内存泄露，通常都是有容器保持了大量的引用，查问题的时候，可以从容器优先开始
2.查看jdk的源代码，是很有必要的。
---------------------------------------------------------------
本站作品根据创作共同协议进行授权, 转载时请务必以超链接形式标明文章原始出处
原文地址：http://www.mirecle.com/2010/01/29/java-memory-leak-resulting-in-string-split.html
---------------------------------------------------------------
最近大家对百度携手日本乐天比较感兴趣，就连不在百度，不是电子商务领域的师兄都来问问情况。其实内部没有消息，至少对我这种基层人员来说就是没有消息，我也是从其他大网站的新闻上看到的。这真是中国特色，在国外看新闻，在国内看旧闻，囧。
要说对百度电子商务没有影响，肯定是不可能的，但要说有多大影响，我认为是正面与负面都是有限。
中国的B2C网站，虽然正处于蓬勃的发展期，但现在其实还没有多少能挣钱的，这与中国的大环境关系很密切：物流，b2c永远的痛。外包的物流不靠谱，前一阵不是还有DDS快递倒闭事件么，13年经营啊，还是被快递行业自身的无序恶性竞争压倒了，老板只能捐钱跑路。乐天进入了中国，又能在短时间内克服水土不服，实现盈利么？
所以说，乐天进入中国市场，短时间内影响力有限，长时间的影响力还有待观察，但对百度自身的电子商务事业来看：
1.对有啊平台影响不大，有啊平台将会更加专注于c2c的市场，呈现一个长尾格局。看来平台不像会对b2c做出倾向了。当然，从另外一个角度讲，这对与淘宝的竞争是有一定好处的，毕竟淘宝的流量目前多数都导给了出得起广告费的大商户，有啊平台发展起来，对大量的中小卖家是一个机会。
2.对百付宝应该是利好消息。由于中国的高级金融服务还没有发展起来，b2c商城要解决支付渠道，与第三方支付平台合作是一个必然的选择。虽然乐天多半会接入支付宝，但百付宝也应该会接，毕竟是百度自己的产品，要想形成产品群来对抗淘宝，自身的产品也要整合好。说不定到时候百付宝还排在支付宝前面呢。
话说回来，passport啥时候能支持openid，向外输出用户资源啊
---------------------------------------------------------------
本站作品根据创作共同协议进行授权, 转载时请务必以超链接形式标明文章原始出处
原文地址：http://www.mirecle.com/2010/01/28/japans-rakuten-to-join-hands-on-baidu.html
---------------------------------------------------------------
以前写的一个小脚本，用在linux的shell批量修改大量文件名的情况下。昨天不小心删除了大量文件，找回的时候，又一次用到了它，在遇到大批量文件的时候，还是挺有效果的，共享一下。
用法：
1.将你要改名的文件都放在同一个文件夹下，运行”ls -l > oldnames”，然后“vi oldnames”，这时候看到的大概是这个样子：
total 1224
drwxrwxr-x 3 yanpeng yanpeng 4096 Sep 17 16:13 app
drwxrwxr-x 2 yanpeng yanpeng 4096 May 19 2009 bin
drwxrwxr-x 2 yanpeng yanpeng 8192 Jan 26 16:40 docpay
2.输入”ctrl+v”，移动光标，选中要删除的那一堆内容，其实就是文件名前面的那些列，输入“d”，得到的文件大概为
app
bin
docpay
3.删除掉第一行的空行，保存退出vi，然后”cp oldnames newnames”。
4.修改newnames文件中想要改名的文件为新文件名
5.将change_name.sh脚本放在你的那个放置文件的夹下，运行./change_name.sh就可以了(注意有执行权限，加执行权限的方法chmod a+x change_name.sh)
change_name.sh脚本内容，拷贝下，存好就能用了
#!/bin/sh
OLDNAMES='oldnames'
NEWNAMES='newnames'
fileline=`sed -n '$=' $OLDNAMES`
echo $fileline
index=1
while [ $index -le $fileline ]
do
oldname=`sed -n "${index}p" $OLDNAMES`
newname=`sed -n "${index}p" $NEWNAMES`
mv $oldname $newname
index=`expr $index + 1`
done
---------------------------------------------------------------
本站作品根据创作共同协议进行授权, 转载时请务必以超链接形式标明文章原始出处
原文地址：http://www.mirecle.com/2010/01/27/batch-rename-files-in-shell.html
---------------------------------------------------------------
昨天在dreamhost上面倒腾编译memcached，先编译了libevent才编好memcached，结果memcached需要libevent的库位于/usr/lib里面才行。没法启动（其实就算启动了也不一定行，ssh的那台机器根本就不是为网站提供服务的机器）。发邮件后，dreamhost的回复是这样的：
Unfortunately we don't support this on our shared hosting servers. If
you'd like to run this, you'll need to upgrade to a Private Server, which
you can do in your control panel here:
https://panel.dreamhost.com/?tree=vserver.provision
You would have to run this on a Private Server only, I'm sorry to say.
Please don't hesitate to write back if you need help with anything else.
看来dreamhost推销它的ps真实不遗余力啊，可是对比服务质量与价格，都没有linode好，要不是为了便宜，我为啥来你这里啊。
打算山寨个文件缓存，虽然通用性不强，但用在这里也够了。
---------------------------------------------------------------
本站作品根据创作共同协议进行授权, 转载时请务必以超链接形式标明文章原始出处
原文地址：http://www.mirecle.com/2010/01/26/dreamhost-can-notuse-memcached.html
---------------------------------------------------------------