基于hadoop存储的web管理平台_大数据_外包网_中国承包网

2020/10/23 阅读:2568 微信号:waibaoso

项目描述

一个基于大数据智能诊断平台,目前已有诊断功能,需要配合诊断平台开发一个分布式存储可视化管理平台,用于管理hadoop集群相关的操作。

环境

5台 centos7.6服务器

1台windows server 2012服务器

开发规划

1. 合理规划并部署hadoop高可用集群、HBase集群、Hive集群、PostgressSQL。

2. 可视化管理平台:

a) 平台能够将本地图片导入到HDFS、HBase、Hive中;

b) 能够将Mysql、PostgressSQL、excel文件、txt等各种类型的文件或数据导入到HDFS、HBase、Hive中;

c) 能够在线查看预览HDFS、HBase、Hive中保存的数据。

3. 文件监听服务:够实时监听局域网内其他服务器的指定目录,将新创建的图片实时导入到Hdaoop集群中。

4. 能够将hadoop集群中新增的文件按照规定的格式实时输出到局域网内其他服务器中的指定目录中。

项目开发周期

5天