PiFlow(大数据流水线系统) V0.9官方版

PiFlow是一个简易易用，功能齐全的互联网大数据流水线系统软件，复合型科学研究互联网大数据流水线系统软件，包括丰富多彩的CPU组件，出示Shell、DSL、Web配备页面、线程同步、每日任务监管等作用！

【软件特点】

　　简易易用

　　数据可视化配备流水线

　　监管流水线

　　查询流水线日志

　　控制点作用

　　扩展性强:

　　适用自定开发设计数据处理组件

　　使用性能：

　　根据分布式计算模块Spark开发设计

　　功能齐全：

　　出示100 的数据处理组件

　　包含Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等

　　集成化了微生物菌种行业的有关优化算法

【操作方法】

　　缓解压力piflow-server-v0.9.tar.gz:

　　tar -zxvf piflow-server-v0.9.tar.gz

　　编写环境变量config.properties

　　运作、终止、重新启动PiFlow Server

　　start.sh、stop.sh、 restart.sh、 status.sh

　　检测 PiFlow Server

　　设定系统变量 PIFLOW_HOME

　　vim /etc/profile

　　export PIFLOW_HOME=/yourPiflowPath/bin

　　export PATH=PATH:PIFLOW_HOME/bin

　　运作以下指令

　　piflow flow start example/mockDataFlow.json

　　piflow flow stop appID

　　piflow flow info appID

　　piflow flow log appID

　　piflow flowGroup start example/mockDataGroup.json

　　piflow flowGroup stop groupId

　　piflow flowGroup info groupId

　　如何配置config.properties

　　#spark and yarn config

　　spark.master=yarn

　　spark.deploy.mode=cluster

　　#hdfs default file system

　　fs.defaultFS=hdfs://10.0.86.191:9000

　　#yarn resourcemanager.hostname

　　yarn.resourcemanager.hostname=10.0.86.191

　　#if you want to use hive, set hive metastore uris

　　#hive.metastore.uris=thrift://10.0.88.71:9083

　　#show data in log, set 0 if you do not want to show data in logs

　　data.show=10

　　#server port

　　server.port=8002

　　#h2db port

　　h2.port=50002