ITeye博客

心如大海

p_x1984 · 共 350 篇文章

认真阅读hadoop源码

从新复习hadoop,认真阅读hadoop源码,有兴趣的朋友可以加我:282215036

2012-11-01 16:00 · 我的随笔 · 评论(0)

awk平时使用心得

1、cat exe1 | awk '{a[$1]+=$2}END{for(i in a) print i,a[i]}' aaa 6 bbb 2 ccc 4 2、awk '{a[$0]++}END{l=asorti(a);for(i=1;i<l;i++)print a[i]}' exe2 a aa bb cc d dd e f ff k mm nn 3、[@83_20 exercise]$ awk '{a[$1]++}END{l=asorti(a,b);for(i=1;i<l;i++)print b[i],a[b[i]]}' exe3 aa 2 bb 2 cc 3 dd 4 mm 2 nn 1…

2012-07-09 17:49 · awk · 评论(0)

Java并发编程总结---Hadoop核心源码实例解读

程序设计需要同步(synchronization),原因: 1)复杂的功能要求的需要使用多线程编程,线程之间存在读写共享变量。 2)读写共享变量(shared mutual variable),JVM的内存模型(Memory model: decide when and how changes made by one thread become visuble to others)受到其它因素干扰。 3)对共享变量的操作非原子性。例如 i++;就不是原子操作,它分为两部分,(1) 读i (2) i+1写入内存。如果i是线程A和线程B共享的变量,线程A在操作(1)之后,线程调度器调度调度线程B…

2012-04-01 15:46 · hadoop · 评论(0)

铁道部售票网站怎么啦?

乐淘CTO 李勇 :库存同步是难点 我的判断,除了一般的优化之外, 最大的难点应该是库存同步问题。推测应该有一个全国唯一的核心库,负责维护所有车次所有座位的票务状态,完成库存查询、锁定、出入库操作 。之前只是对内部的各售票点开放(估计有几万个),波动小的情况。突然对公众开放就出问题了,会达到百万并发,根本无法承受。做这种系统的,应该是跟铁道部有多年合作经验,善于做内部系统的集成公司(网上看是太极),不去评判其他,单纯从技术上看,他们对互联网大规模应用并没有经验,要知道淘宝、京东到应对这种压力经历了多少年的试错和优化,而他们一上来就搞这个,出问题是必然的。 莱诺斯科技(北京) 副总经理周琛 :…

2012-01-10 10:25 · 我的随笔 · 评论(0)

eclipse启动报错jvm terminated. Exit code=1

转载链接: http://wxmfly.iteye.com/blog/233421

2011-10-11 08:55 · 我的随笔 · 评论(0)

做有气质的男人

这里提到男人应该具有的一些品质吧,偶然看到的,觉得说得有道理(尽管没做到的还很多),忍不住转一下。 一:沉稳 (1)不要随便显露你的情绪。 (2)不要逢人就诉说你的困难和遭遇。 (3)在征询别人的意见之前,自己先思考,但不要先讲。 (4)不要一有机会就唠叨你的不满。 (5)重要的决定尽量有别人商量,最好隔一天再发布。 (6)讲话不要有任何的慌张,走路也是。 二:细心 (1)对身边发生的事情,常思考它们的因果关系。 (2)对做不到位的执行问题,要发掘它们的根本症结。 (3)对习以为常的做事方法,要有改进或优化的建议。 (4)做什么事情都要养成有条不紊和井然有序的习惯。 (5)经常去找几个别人看…

2011-09-29 09:39 · 我的生活 · 评论(1)

加油啦!

8月18日入职搜狐,负责汽车事业部数据。看来压力不小啊,加油干吧!

2011-09-22 16:02 · 我的生活 · 评论(1)

ireport中获取当前时间

一。 iReport 中获取系统当前时间 1,选择TextField类型为 java.util.Date 2,在pattern中 点 在Date中选择你要的日期格式如下图 3,在TextField Expression中写 java.util.Calendar.getInstance().getTime() 如下图

2011-08-28 11:53 · 我的随笔 · 评论(2)

ireport引java bean database

今天帮一同事调试程序,他们的报表工具用的是ireport4.0.2,在使用java bean 作为数据源时一直没找到,原因很简单:就是没找对所编译的class 路径。如果使用的eclipse来编译的话,一般class文件都放在项目/bin/class 下面截一个图: 最下面的一个是class 所存放的地方

2011-08-27 10:38 · 我的随笔 · 评论(0)

知足最好

钱多钱少,够吃就好。人丑人美,顺眼就好。 人老人少,健康就好。家穷家富,和气就好。 老公晚归,回来就好。老婆唠叨,顾家就好。 孩子从小,就要教好。博士也好,卖菜也好。 长大以后,心安就好。房屋大小,能住就好。 名不名牌,能穿就好。两轮四轮,能驾就好。 老板不好,能忍就好。一切烦恼,能解就好。 坚持执着,放下最好。人的一生,平安就好。 不是有钱,一定会好。心好行好,命能改好。 谁是谁非,天知就好。修福修慧,来世更好。 说这么多,明白就好。天地万物,随缘就好。 很多事情,看开就好。人人都好,日日都好。 你好我好,世界更好。总而言之,知足最好。

2011-08-25 10:50 · 我的生活 · 评论(0)

几个比较重要的句子

1.说话要用脑子,做事慎言,话多无益.讲话不要只顾一时痛快.信口开河,以为人家给你笑脸就是欣赏,没完没了的把掏心窝子的话都讲出来,结果让人家彻底摸清了家底.还偷笑你. 2.遇事不要急于下结论,即便有了答案也要等等,也许有更好的解决方式,站在不同的角度就有不同答案,要学会换位思维. 3.对小人一定要忍让,退一步海阔天空,实在不行把属于自己的空间也关给他们,站他们如莺燕舞般陶醉吧.大人大度量.惹着小人就等与惹了麻烦,所以要敬而远之. 4.这世道没有无缘无故的爱,也没有无缘无故的恨,不要参与评论任何人,做到心中有数就可以了.谁也没有理论依据来介定好人与坏蛋,其实就是利益关系的问题. 5.花掉真正属…

2011-08-25 10:49 · 我的生活 · 评论(0)

使用hadoop的lzo问题!

使用lzo压缩替换hadoop原始的Gzip压缩。相比之下有如下特点: 我们这使用的是hadoop客户端。 1.压缩解压的速度很快 2.lzo压缩是基于block分块的。这样,一个大文件(在hadoop上可能会占用多个block),就可以有多个 MapReduce并行来进行处理。 虽然Lzo的压缩比没有Gzip高,不过由于其前2个特性,在Hadoop上使用Lzo还是能整体提升集群的性能的。能提高效率的即是合理的。 接下来说说我遇到的问题: 以下是各个配置 1.Linux 83_20 2.6.18-128.el5 #1 SMP Wed Dec 17 11:41:38 EST 2008 x86_…

2011-08-24 17:12 · hadoop · 评论(0)

hive中partition如何使用

网上有篇关于hive的partition的使用讲解的比较好,转载了: 一、背景 1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。 2、分区表指的是在创建表时指定的partition的分区空间。 3、如果需要创建有分区的表,需要在create表的时候调用可选参数partitioned by,详见表创建的语法结构。 二、技术细节 1、一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。 2、表和列名不区分大小写。 3、分区是以字段的形式在表结构中存在,通…

2011-08-23 23:35 · hive · 评论(0)

hive中配置使用derby.

hive-default.xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;databaseName=metastore_db;create=true</value> 表示使用嵌入式的derby,create为true表示自动创建数据库,数据库名为metastore_db <!--<value>jdbc:derby://192.168.0.3:4567/hadoopor;create=true</value>--> 表示使用客服模式的derby,hadoopor为数据库名,192.168…

2011-08-23 23:20 · hive · 评论(0)

hive中UDF和UDAF使用说明

Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。 一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括: a)文件格式:Text File,Sequence File b)内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text c)用户提供的 map/reduce 脚本:不管什么语言,利用 stdin/stdout 传输数据 d)用户自定义函数: Substr, Tri…

2011-08-23 23:04 · hive · 评论(0)