这个是最近做数据统计用的比较多的一个脚本，目的是根据key值，输出文件中相同或者不同的行。例如文件A的样子：
10000007^H_O
10000036^Hzerui
10000037^Hyanpeng_haha
文件B的样子：
10000037^Hyanpeng_haha
注意文件中的^H是一个字符，在vim中使用输入ctrl+v再输入ctrl+h就可以看到了，这里用它主要是起到文件不同列之间的分隔符作用
使用命令
php mygrep.php A B
可以得到“10000037^Hyanpeng_haha”这一行数据，使用命令
php mygrep.php A B “notmatch”
可以得到另外两行数据。
脚本默认使用第零列作为筛选依据，默认使用^H作为分隔符，在脚本中自己配置一下可以更改。脚本工作时，要求筛选依据是已排序的。对于排序，可以使用sort命令操作文件，sort通过-t参数指定分隔符，-f指定按照那一列进行排序。
mygrep.php的代码:
$base_file_name = $argv[1];
$check_file_name = $argv[2];
$mode = isset($argv[3])?$argv[3]:false;
$field_index = 0;
$delimiter = '';
//////////////////////////////////////////////////////////////
$base_file = @fopen($base_file_name, 'r');
$check_file = @fopen($check_file_name, 'r');
$read_base_file = true;
$compare_result = 0;
$readed_base_file_arr = array();
//以要检查的文件作为外层循环
while(!feof($check_file)){
//读取要检查的文件
$readed_check_arr = explode($delimiter, trim(fgets($check_file)));
//var_dump($readed_check_arr);
do{
//读取基准文件
if($read_base_file === true){
$readed_base_arr = explode($delimiter, trim(fgets($base_file)));
//var_dump($readed_base_arr);
}
//作比较
//print("comparing check=".$readed_check_arr[$field_index]." base=".$readed_base_arr[$field_index]."\n");
$compare_result = strcmp($readed_check_arr[$field_index], $readed_base_arr[$field_index]);
$grep_flag = ($compare_result == 0);
//如果是要取出不相等的数据
//且检查key小于或等于基准key时，说明需要将检查key下移一行,即此比较key已经比较完成
//此时如果比较结果相等则不输出,
//如果比较结果不等，并且检查key大于基准key则输出,如果检查结果小于基准key，说明检查key要下移继续检查
if($mode != false && (strcmp($mode, "notmatch") == 0)
&& $compare_result >= 0){
$grep_flag = !$grep_flag;
}
if($grep_flag){
print implode($delimiter, $readed_base_arr)."\n";
}
//总是设置为要读取，如果跳出循环，则由外面设置
$read_base_file = true;
//如果检查的key是大于基准的key，并且检查文件未到尾，则重新读取一行基准文件进行检查
}while($compare_result > 0 && !feof($base_file));
if(feof($base_file)){
break;
}
//当检查key小于基准key时，不读取下个基准key,等于则是因为已经比较过，两个都需要读取
if($compare_result < 0){
$read_base_file = false;
}
}
fclose($check_file);
fclose($base_file);
有的时候，由于我们队Java api理解上面的错误，可能会导致出现一些意外的问题，比如内存泄露。认为虚拟机会为你创建一个新的对象，引用了不同的内存区域，结果却和想象中的不一样，导致服务宕机。
今天在查网关的内存溢出问题时，发现问题出现在String.split函数上面。大家都认为Java中的String是只读的，new新对象的时候一定是分配了新的内存，但虚拟机内部却不一定如此。sun的hotspot1.5版本在实现java的类时做了优化，为了减少内存拷贝，一个String对象可能会引用另外一个String对象的内存。查看jdk的源代码可知，String内部是用一个名为value的char数组存储内容的，但同时另外也有两个int类型的变量：offset与count。
查看String.split()函数的源代码，随后调用的是Pattern.split()，随后调用String.subSequence()，随后调用String.substring()。String的substring代码如下
public String substring(int beginIndex, int endIndex) {
if (beginIndex < 0) {
throw new StringIndexOutOfBoundsException(beginIndex);
}
if (endIndex > count) {
throw new StringIndexOutOfBoundsException(endIndex);
}
if (beginIndex > endIndex) {
throw new StringIndexOutOfBoundsException(endIndex - beginIndex);
}
return ((beginIndex == 0) && (endIndex == count)) ? this :
new String(offset + beginIndex, endIndex - beginIndex, value);
}
如果看到最后return的是new String，以为就是一个新的String就真的囧了，这不是一个向外开放的构造函数，它创建了一个新的对象，却是用的原来String对象中的内存
// Package private constructor which shares value array for speed.
String(int offset, int count, char value[]) {
this.value = value;
this.offset = offset;
this.count = count;
}
本来这样进行优化无可厚非，但在网关的应用情况下就出现问题了：
一次性查询得到一个String，里面记载了1000条数据结果，将这1000条数据结果拆分，封装成1000个对象，存在缓存里面。缓存是用LinkedHashMap，当Entry达到一定数量时就进行淘汰。这样就导致这1000个对象都淘汰了，才会释放存储了1000个数据的String，这个String可是相当的大啊。
又因为查询的时间段是有重叠的，导致每次查询的String都记载了很多重复的内容，虽然缓存里面只对String不同的地方保持了一次引用，但是却无意间存储了大量的无用数据。这就导致了jvm的内存溢出。
好多年没搞java了，结合以前上学时候查java内存泄露的一点经验，说明了：
1.出现内存泄露，通常都是有容器保持了大量的引用，查问题的时候，可以从容器优先开始
2.查看jdk的源代码，是很有必要的。
以前写的一个小脚本，用在linux的shell批量修改大量文件名的情况下。昨天不小心删除了大量文件，找回的时候，又一次用到了它，在遇到大批量文件的时候，还是挺有效果的，共享一下。
用法：
1.将你要改名的文件都放在同一个文件夹下，运行”ls -l > oldnames”，然后“vi oldnames”，这时候看到的大概是这个样子：
total 1224
drwxrwxr-x 3 yanpeng yanpeng 4096 Sep 17 16:13 app
drwxrwxr-x 2 yanpeng yanpeng 4096 May 19 2009 bin
drwxrwxr-x 2 yanpeng yanpeng 8192 Jan 26 16:40 docpay
2.输入”ctrl+v”，移动光标，选中要删除的那一堆内容，其实就是文件名前面的那些列，输入“d”，得到的文件大概为
app
bin
docpay
3.删除掉第一行的空行，保存退出vi，然后”cp oldnames newnames”。
4.修改newnames文件中想要改名的文件为新文件名
5.将change_name.sh脚本放在你的那个放置文件的夹下，运行./change_name.sh就可以了(注意有执行权限，加执行权限的方法chmod a+x change_name.sh)
change_name.sh脚本内容，拷贝下，存好就能用了
#!/bin/sh
OLDNAMES='oldnames'
NEWNAMES='newnames'
fileline=`sed -n '$=' $OLDNAMES`
echo $fileline
index=1
while [ $index -le $fileline ]
do
oldname=`sed -n "${index}p" $OLDNAMES`
newname=`sed -n "${index}p" $NEWNAMES`
mv $oldname $newname
index=`expr $index + 1`
done
昨天在dreamhost上面倒腾编译memcached，先编译了libevent才编好memcached，结果memcached需要libevent的库位于/usr/lib里面才行。没法启动（其实就算启动了也不一定行，ssh的那台机器根本就不是为网站提供服务的机器）。发邮件后，dreamhost的回复是这样的：
Unfortunately we don't support this on our shared hosting servers. If
you'd like to run this, you'll need to upgrade to a Private Server, which
you can do in your control panel here:
https://panel.dreamhost.com/?tree=vserver.provision
You would have to run this on a Private Server only, I'm sorry to say.
Please don't hesitate to write back if you need help with anything else.
看来dreamhost推销它的ps真实不遗余力啊，可是对比服务质量与价格，都没有linode好，要不是为了便宜，我为啥来你这里啊。
打算山寨个文件缓存，虽然通用性不强，但用在这里也够了。
以前上学的时候，主要用java，Eclipse真是个好东东。上班后，开始用c，php，python等，越来越发现vim是一个好东东，如果不是写java的话，推荐大家投入vim的怀抱。
vim的根本性好处就是：写代码的时候，你的手腕不需要动。不需要动鼠标，不需要移动右手去按那个“上下左右”（当然是在你用hjkl的情况下）
基本的那些用vimtutor看看就好了，高级的应用里面，我接触到的一个是正则，另外一个是列编辑。建议大家写代码的时候，都列对齐，使用ctrl+v进行列编辑，简直太爽了。
关于vim的插件，都是放在在~/.vim文件夹中的，在这个文件夹下面有一些子文件夹
1.plugin。启动Vim时, 它自动载入一些全局的plugin，就是从这个目录里面读取的
2.ftplugin。这种插件是通过“:filetype plugin on”打开的，默认这个命令可以配置在~/.vimrc文件中，插件的作用比如是帮助控制缩进等，对python语言来说尤其重要
3.doc。这个可以放置一些plugin的帮助文件
上面的这些定义比较宽泛，是在vim手册里面描述的。另外，python推荐使用indent/python.vim，可以按照规范的控制python的缩进。
————问题的分割线————
问题：为啥不是写java就推荐vim呢？
回答：Eclipse可以根据java代码的编译情况，自动添加import选项，并且重构功能也很强大，是一个很好的选择。
关于网页乱码问题，网上貌似有不少的说法，但与此同时，也有很多人说解决方法不起作用，无论是在网页的head头中加上“”标识还是修改apache的AddDefaultCharset问题，都有不能解决问题的时候。其实大家把这个搞复杂了，影响正常显示的只有两个因素：
1.网页被浏览器解码的方式
2.网页文件中字符本身的编码方式
只要这两个是一致的，就可以解决乱码问题。JavaScript操作中文出现乱码的问题和这个也是同一个道理。
在网页的head头上制定charset是要求浏览器按照制定的方式对这个页面进行解码，而在apache配置AddDefaultCharset则是在response的一个header中加上了指定的解码方式。个人感觉还是在head头中指定更灵活一些，当然，这个是与应用相关的，孰优孰劣也说不定。
解决了浏览器解码的问题，就需要注意查看文件的编码是否与指定的解码方式是否一致，在vim里面可以通过”set encoding”来查看当前文件的编码方式，使用”set encoding=gbk”就可以指定文件的编码方式是gbk了。我目前用的文件编码方式多是latin1的，貌似反而到没有遇到乱码的问题，具体没有进行深究
编码方式，还是推荐大家使用gbk或者gb18030。gbk(gb13000)中包含：
1.gb2312的全部汉字，非汉字的符号
2.big5中的全部汉字
3.其它 CJK 汉字
4.其它汉字，部首，符号
gb18030是在2000年推出的标准，与gbk完全兼容