首页 > 其他分享 >Twitter Storm安装配置(单机版)

Twitter Storm安装配置(单机版)

时间:2023-03-22 22:35:42浏览次数:40  
标签:单机版 Storm Twitter zookeeper install usr storm zeromq local


storm的官方安装说明(e文):https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster
 
storm的安装分为单机版和集群版,只是配置稍微有点区别,大致一样。
 
要使用storm首先要安装以下工具:
 
python、zookeeper、zeromq、jzmq、storm
 
第一步,安装Python2.7.2
 wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz
 tar zxvf Python-2.7.2.tgz
 cd Python-2.7.2
 ./configure
 make
 make install
 vi /etc/ld.so.conf
 追加/usr/local/lib/
 sudo ldconfig
 
第二步,安装zookeeper  
wget http://labs.mop.com/apache-mirror/zookeeper/zookeeper-3.3.5/zookeeper-3.3.5.tar.gz
 tar -zxvf zookeeper-3.3.5.tar.gz 
cp -R zookeeper-3.3.5 /usr/local/
 ln -s /usr/local/zookeeper-3.3.5/ /usr/local/zookeeper
 vim /etc/profile (设置ZOOKEEPER_HOME和ZOOKEEPER_HOME/bin) 
export ZOOKEEPER_HOME="/path/to/zookeeper"
 export PATH=$PATH:$ZOOKEEPER_HOME/bin
 cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg (用zoo_sample.cfg制作$ZOOKEEPER_HOME/conf/zoo.cfg)
 mkdir /tmp/zookeeper
 mkdir /var/log/zookeeper
 zookeeper的单机安装已经完成了。
 
第三步,安装zeromq以及jzmq
 jzmq的安装貌似是依赖zeromq的,所以应该先装zeromq,再装jzmq。
 1)安装zeromq:
 wget http://download.zeromq.org/zeromq-2.2.0.tar.gz
 tar zxf zeromq-2.2.0.tar.gz 
cd zeromq-2.2.0
 ./configure
 make
 make install
 sudo ldconfig (更新LD_LIBRARY_PATH)
 zeromq安装完成。
 注意:如有有依赖报错,需要安装:
 jzmq dependencies 依赖包
 sudo yum install uuid*
 sudo yum install libtool
 sudo yum install libuuid 
sudo yum install libuuid-devel
 2)安装jzmq
 yum install git 
git clone git://github.com/nathanmarz/jzmq.git
 cd jzmq
 ./autogen.sh
 ./configure
 make
 make install
 然后,jzmq就装好了.
 注意:在./autogen.sh这步如果报错:autogen.sh:error:could not find libtool is required to run autogen.sh,这是因为缺少了libtool,可以用#yum install libtool*来解决

第四步,安装Storm
 wget http://cloud.github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
 unzip storm-0.8.1.zip
 mv storm-0.8.1 /usr/local/
 ln -s /usr/local/storm-0.8.1/ /usr/local/storm
 vim /etc/profile
 export STORM_HOME=/usr/local/storm-0.8.1
 export PATH=$PATH:$STORM_HOME/bin
 到此为止单机版的Storm就安装完毕了。
 
第五步,测试一下本地模式的WordCount
 下载storm-starter 编译,并导入eclipse 工程:
 1. 下载strom starter的代码 git clone https://github.com/nathanmarz/storm-starter.git
 2. 使用mvn -f m2-pom.xml package 进行编译
 3. 复制 storm-starter目录下的m2_pom.xml 为pom.xml ,因为eclipse需要pom.xml
 4. 使用mvn eclipse:eclipse编译成eclipse工程
 5. 在Eclipse 中import 选择storm-starter 的路径,一般导入项目后,会需要设置相应的M2_查看工程是否无误,可能会需要配置M2_REPO变量,
 M2_REPO配置方法:工程上右键->Properties->Java Build Path->Libraries->AddVariable->Configure Variable->New
 输入Name:M2_REPO , Path:localRepository路径->ok刷新工程,代码无误了,可以进行开发了
 6. 编译无误后,现在本地跑storm.starter目录下的WordCountTopology
 使用eclipse的export功能导出项目的jar包,便于以后分布式的情况下,提交相应的逻辑
 
Strom-Starter构建失败,缺少twitter4j包 的解决办法:
 修改Storm-Starter的pom文件m2-pom.xml ,修改dependency中twitter4j-core 和 twitter4j-stream两个包的依赖版本,如下:

<dependency>
    <groupId>org.twitter4j</groupId>
    <artifactId>twitter4j-core</artifactId>
    <version>[2.2,)</version>
 </dependency>
 <dependency>
    <groupId>org.twitter4j</groupId>
    <artifactId>twitter4j-stream</artifactId>
    <version>[2.2,)</version>
 </dependency>

标签:单机版,Storm,Twitter,zookeeper,install,usr,storm,zeromq,local
From: https://blog.51cto.com/u_2650279/6143465

相关文章

  • Storm的介绍与安装(简单)
    Storm的集群跟hadoop的集群非常像。但是在Hadoop上面你运行的是MapReduce的Job, 而在Storm上面你运行的是Topology。在Storm的集群里面有两种节点: 控制节点(master node)......
  • GitHub项目Storm-HBase介绍
    ​​Storm-HBase​​​,该项目是​​TwitterStorm​​​和​​ApacheHBase​​​的结合,它使用HBasecluster作为Storm的Spout数据源,目前只是初步实现,后续会进一步完善。​......
  • storm & drcp
    1.Storm在taobao的使用情况:Wemakestatisticsoflogsandextractusefulinformationfromthestatisticsinalmostreal-timewithStorm.LogsarereadfromKafka-......
  • 登录一些安全网站,比如twitter/facebook,提示安全链接失败,或提示下载文件。
    (1)查看makefile文件中OBIGO_FEATURE宏值,如果为WAP2,则不支持安全链接,只有为WAP2_SEC才支持,但该宏客户是不可以自行修改的,需要我司提供flavorbuild申请,......
  • 【Serverless】看完这篇,帮你用认证服务快速实现Twitter统一登录
    【关键字】Java、认证服务、Twitter统一登录 【介绍】AGCAuthSDK在传统登录方式基础上新增了Twitter的统一登录方式,开发者可以在应用中集成Twitter认证方式SDK,让您......
  • Storm原理简介
    ApacheStorm简介    ApacheStorm的前身是TwitterStorm平台,目前已经归于Apache基金会管辖。ApacheStorm是一个免费开源的分布式实时计算系统。简化了流......
  • 关于使用webstorm的自定义代码模板
    将需要作为模板的代码复制下来点击“file“→settings”→“Editor”→“LiveTemplates(动态模板)”选择“vue”点击“+”选择“LiveTemplate”将Abbreviation(缩写)中内容改......
  • WebStorm使用 webstorm快捷键
    WebStorm是JetBrains推出的一款商业的JavaScript开发工具任何一个编辑器都需要保存(ctrl+s),这是所有win平台上编辑类软件的特点,但是webstorm编辑文件右上角是没有......
  • Storm 概念与架构
    Storm提出了几个新的概念,理解这些概念对于学习Storm非常重要。Storm中核心概念如下:1)Tuple:由一组可序列化的元素构成,每个元素可以是任意类型,包括Java原生类型、String、byte[......
  • phpstorm配合phpstudy搭建php学习环境
    phpstorm配合phpstudy搭建php学习环境前言初学php学校提供的是zendstudio和phpstudy的学习环境,因为去年学习java所以习惯了idea的方式,所以今年就找到了JetBrains的ph......