p_x1984
- 浏览: 1170809 次
- 性别:
- 来自: 北京
-
最新评论
-
pandaball：
支持一下，心如大海
做有气质的男人 -
recall992：
山东分公司的风格[color=brown]岁的法国电视[/co ...
solr是如何存储索引的 -
zhangsasa：
-services "services-config ...
flex中endpoint的作用是什么？ -
来利强：
非常感谢
java使用json所需要的几个包 -
zhanglian520：
有参考价值。
hadoop部署错误之一：java.lang.IllegalArgumentException: Wrong FS
文章列表
周末没事，看了下perl的书，刚开始不是很理解perl的自定义模块调用。刚弄明白，顺便记录下来！
1 #!/usr/bin/perl2 push (@INC,'pwd');3 use Cocoa;4 $cup = new Cocoa; 第一行指出Perl解释器的位置，第二行中，将当前目录加到路径寻找列表@INC中供寻找包时使用。你也可以在不同的目录中创建你的模块并指出该绝对路径。例如，如果在D:/perl_example/obj/package/创建包，第二行就应该如下：push (@INC , "D:/perl_example/obj/package/");在别的地方就应 ...
转：
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
Answer：
程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。
修改办法：
修改2个文件。
/etc/security/limits.conf
vi /etc/security/limits.conf
加上：
* soft nofile 102400
* hard nofile 409600
...
转 ：
一、 Hadoop节点热拔插
在Hadoop集群中经常会进行增添节点操作，即实现节点的热拔插。在这些操作中不希望对集群进行重启。
2.在集群中添加节点：
a. 把新节点IP或者主机名字加入到主节点的slaves文件。
b. 登录到新节点 ...
转：
有的时候， datanode或者tasktracker crash，或者需要向集群中增加新的机器时又不能重启集群。下面方法也许对你有用。
1.把新机器的增加到conf/slaves文件中（datanode或者tasktracker crash则可跳过）
2.在新机器上进入hadoop安装目录
$bin/hadoop-daemon.sh start datanode
$bin/hadoop-daemon.sh start tasktracker
3.在namenode上
$bin/hadoop balancer
大家知道hadoop这家伙是非常吃内存的。除了加内存哦！
如果大家有什么好的优化方法的话，欢迎一起来讨论。
用Perl DBI连接MySQL数据库
Perl中一个最酷的模块就是Perl数据库接口(Perl Database Interface，简称DBI)。通过提供一系列在内部上能够转化成原始调用函数的功能，DBI模块为很多不同的数据库提供了一个统一的接口。由此，使用Perl就可以很容易地利用数据库和建立动态Web网页。
当前，MySQL是广泛用于Web网站开发的数据库，它是一种免费、开源的SQL操作。本期我们将讲述到如何实现Perl与MySQL相互通讯的操作，将为你介绍由DBI提供的重要方法，在开发过程中讲述到一个简单的脚本模板。这一操作的前提是假设你的系统已经安装了MySQL和Perl。
下 ...
最近在研究图像数字识别技术，对于一些简单没有干扰的图片，可以读取处理里面的数字，但是有一些干扰的图片，就没有办法了，如果大家对这方面有研究的话，希望一起来讨论学习！
3月份太多的惊喜！太多的悲伤！太多的感悟！相信自己能撑起这一片天空！自己只能给自己加油！
搜
索引擎是开启网络知识殿堂的钥匙，获取知识信息的工具。随着网络技术的飞速发展，搜索技术的日臻完善，中外搜索引擎已广为人们熟知和使用。任何搜索引擎的
设计，均有其特定的数据库索引范围、独特的功能和 ...
讨用户搜索意图
用户搜索意图，可以理解为用户通过搜索希望获取到的信息，可以量化为用户希望得到的检索结果集。根据意大利学者米扎罗的理论，用户的信息需求可以为分四个层次：一是用户的潜在的真实信息需 ...
常用元搜索引擎
1
、
qbSearch http://www.qbsearch.com/
）
2
、
Query Server http://www.queryserver.com
）
3
、
Turbo10 http://turbo10.com/
）
4
、
Dogpile http://www.dogpile.com/
）
5
、
Webcrawler http://www.webcrawler.com/
）
6
、
Search.com http://www ...
本文根据
readwriteweb
的《
The Top 100 Alternative Search Engines
》改写而成。
现在问大家是怎么在互联网上查找到他们所需要的信息的，大多数人的回答肯定是“
Google
”（国内用户，多数人使用百度）。更深层次 ...
在nutch当中加入中文分词。这里我使用的IK_Analyzer
1、下载IKAnalyzer3.2.5Stable.jar。
2、需要修改org.apache.nutch.analysis包下面的NutchDocumentAnalyzer.java的tokenStream方法
2.1 ： 加入属性变量 -- private static Analyzer IK_ANALYZER;
2.2 ： NutchDocumentAnalyzer 构造方法中 加入 ：
IK_ANALYZER = new IKAnalyzer();
2.3 ： 在 tokenStr ...
解决方法：
改成全英文环境来解决 方格 乱码 ：
用vim配置语言环境变量
vim
/
etc/
environment
改成：
LANG
=”en_US.UTF-8
″
LANGUAGE
=”en_US:en”
sudo
vim /
var/
ib/
locales/
supported.d/
local
改成：
en_US.
UTF-
8
UTF-
8
保存后，执行命令：
sudo
locale-gen
...
对于处理问题的一点想法
- 博客分类：
- 我的随笔
昨天快下班的时候，遇到一个建立索引的问题，因为快下班了，我没有急着去解决它。就现放一放，当坐在地铁上时，突然想得到一个解决办法！就用手机把思路记录下来，怕明天忘记！回家该干什么还干什么！轻松了许多，要不然脑子里一直想这个问题该如何来解决！呵呵！
所以说有时候，当自己在最轻松的时候把问题想一下！总比一直在那里死扣强阿！自己的一点经验,希望对大伙有所帮助！
对了还有每天腾出15分钟的时间把这一天所做的东西都前后想想，这样积累下来，你会变的越来愈强！