大数据技术开发环境搭建.docx

大数据技术开发环境搭建.docx
目录软件下载2安装虚拟机管理器2新建虚拟机，安装Ubuntu3锐捷校园认证下虚拟机Ubuntu的联网设置11熟悉Ubuntu系统13安装SSH、配置SSH无密码登陆20安装Java环境22安装Hadoop24Hadoop伪分布式配置25启动Hadoop26运行Hadoop伪分布式实例30启动YARN35附加教程:配置PATH环境变量37使用Eclipse编译运行MapReduce程序（Hadoop-Eclipse-Plugin，建议）38使用Eclipse打包自己的MapReduce程序51不用Hadoop-Eclipse-Plugin编写MapReduce程序54Hadoop集群安装配置教程56HBase安装56HBase伪分布式配置57HBaseShell编程实践60HBaseJAVAAPI编程实践64安装MySQL68Hive安装70Redis安装和使用74MongoDB安装和使用83Neo4j安装和使用96安装Spark103使用SparkShell编写代码104Scala独立应用编程106Java独立应用编程109使用Eclipse编写Spark应用程序（scala+sbt）112使用Eclipse编写Spark应用程序（scala）（建议）121使用Eclipse编写Spark应用程序（java+maven）123使用Eclipse编写Spark应用程序（java）128Storm安装和使用130使用Eclipse编写Storm程序（maven）134Kafka安装142Flume安装151Sqoop安装159Hama安装165使用Eclipse编写Hama应用程序168参考文献：174