Hadoop Architecture and Design1 IntroductionHadoop分布式文件系统是设计在廉价硬件上运行的分布式文件系统.它和现在已存在的其他分布式文件系统有很多的类似性.然而其中的差异是非常有意义的.HDFS是高容错和部署在廉价的硬件上的.HDFS提供高吞吐量对应应用数据并且适合大数据集的应用.HDFS使得一些POSIX(可移植操作系统接口Portable Operating System Interface)得需求变得轻松,如访问文件系统数据.HDFS原先使Apache Nutch网站 阅读全文

学习hadoop也有一段时间了,在测试了多天,分析了多天,其实对其内部实现还是不是很了解.源代码不是很好看哦. 今天yahoo的一个hadoop的专家过来介绍了一下,yahoo的使用经验,普遍讲的是mapreduce这块内容.而hdfs这块涉及不多.在hadoop的archetcture里也提到hadoop不适合存储小文件.它本身就是从nutch项目里分出来的,目的是存放大文件.不过这个专家提到,已经考虑小文件的存放,正在实现中.其实从我的测试来看,读取小文件的效率还是可 阅读全文

测试hbase和hadoop操作文件的性能1:单线程hbase的文件存入 String parentPath = "F:/pic/2003-zhujiajian"; File[] files = getAllFilePath(parentPath); HBaseConfiguration config = new HBaseConfiguration(); HTable table = new HTable(config, new Text("offer")); long start = System.currentTimeMillis(); for (File file :files) { if(file.isFile()) { byte[] data = getData(file); createRecore(table,file.getName 阅读全文

我家门前有条小河，不宽，大概10米左右，江南水乡的那种小河。生产组里农户门的房子依河而建，南边北边。小河上有座石板桥，应该是蛮久远了。游泳的时候可以看到桥墩石块上刻的一些字，但是很模糊。也一直想研究它的历史来着，但是在河里游泳的时候比较贪玩，不游泳的时候又没那心情，所以一直都不清楚。爸爸说，他小时候是没有这座桥的。河的北边连我家一共只有3户，南边也只有3，4户。生产队里的很多户都是从其他地方迁过来的。 阅读全文

生产队的马路上有两片很大的竹林，当然现在来看不算大，但在小时候看来非常大，其中一片是姑姑家的，竹子非常粗壮，有些长的像毛竹似的，非常结实。每年春天姑姑家的竹林里都会长出很多笋，吃不掉的也会拿过来给我们一些。当然我对竹林的映像远比这些多的多。 小时候，生产队里的孩子基本上没啥娱乐活动，经常去竹林里掏鸟蛋，用自制的弹弓打鸟。遗憾的是，在那些大孩子的后面，我基本上找不到鸟窝。即使找到一个也不敢爬上去， 阅读全文

以下几个词是这一个星期来感受到的：惊恐，慌乱，担忧，力量，感动，爱心，团结，悲，喜，累，攻击，谣言，辟谣，行动。 这些词来自于生活，tv，internet。感受到了生活的意义，感受到了国家的能力，感受到了网络的潜在能量。 清者自清，愿所有人都能保持健康的心态，愿社会和谐！ 阅读全文

好多天没有写了，因为忙着照顾宝宝。 5月14日临晨3点50分，老婆被送进了产房，我在产房外焦急的等待着。周围还有很多和我一样的人，都在等待着自己家宝宝的出生。期间大家都在看电视，虽然已经临晨4点多了，大部分人都很关注地震的消息，电视台也一直播放着。我看到了总理慰问那个小姑娘的镜头，感情一下子爆发了，虽然没有哭，但是我热泪盈眶。那么多生命消失了，而这里那么多新生命即将诞生，真的是感概万千。为那么多同胞的不 阅读全文

今日发生大地震，几乎国家的各个区域都有震感。 地震后20分钟，查看国家地震网想得到第一手的消息，结果令人失望，404错误，难道是访问量太大了？搞笑的是，一个美国的网站居然率先查到了这次地震的具体信息，包括具体方位，深度，强度等。不由感慨国内的某些体制确实落后。国家地震局，你不能预测我们也不怪你，毕竟就目前的人类科技水平来说，要预测地震还是不大可能的，但是震后半个小时，你也没有给出应有的信息，这就是你的 阅读全文

刚才突然感觉到大楼在摇晃,所有人都感觉到了,一时间,人费了,这个楼层,那么多人都有点惊慌,不知所错.看对面的大楼门口,人们迅速的跑出大楼,我们这里也也有部分人开始往下跑,真像电影里的场景.难得一见.大楼应该是抗震的吧?而且在这里地方,从来没有发生过大地震,所以我坚信可以不下楼的.走到抽烟室,一边抽烟,一般看着路面上密密麻麻的人群.打了个电话回家,通知老婆.又电话几个同学,他们所在的区都没有感觉到,奇怪了,也有可能是我所 阅读全文

hbase的搭建URL:http://hadoop.apache.org/hbase/docs/r0.1.1/api/overview-summary.html在已经创建的hdfs基础上搭建1:修改hadoop/contrib/hbase/conf/hbase-env.sh加入java_home的路径 2:修改hadoop/contrib/hbase/conf/hbase-site.xml,加入如下 <property> <name>hbase.master</name> <value>10.0.4.121:11100</value> <description>The host and port that the HBase master runs at.&l 阅读全文