某研究所无人机数据分析项目案例

建设内容

建设一套数据处理与分析验证平台,用于提供飞行数据的采集、存储、预处理、查询、特征分析及可视化展现等功能。通过使用该设备,用户可以开发基于大数据的应用,并根据新增的数据进行实时更新,从而为飞行训练评估、放飞、飞机日常维护、事故分析等提供依据。
建设一套数据分析及验证环境,用于提供数据的操控特征分析、故障预测分析、网络性能评估和可视化展现等功能。通过使用该设备,用户可以快速的收集、筛选、分析、归纳和展现决策者所需要的信息,从海量数据集中挖掘其中潜在的规律、关联规则。
功能模块

分布式数据采集
提供在线实时数据采集功能,支持网络报文、RS422串行数据和DDS数据的接入;
提供离线历史数据采集功能,支持文件、日志和数据库的接入;
提供多种格式的网络报文数据采集,包括且不限于TCP、UDP、DNS、ICMP、HTTP报文。

分布式预处理
以数据预处理模板的形式,来定义可复用的数据预处理规则;
以所见即所得的方式,编辑数据预处理模板;
基于正则表达式的文本信息抽取;
通过圈选操作分析正则抽取规则;
多种文件格式的数据预处理,包括且不限于TXT、DAT、CSV、XML等文件格式;
自动解析Key: Value数据对,并可自定义其配对模式;

分布式存储
提供HDFS分布式文件存储功能;
提供NoSQL数据库存储功能;
提供历史数据归档功能;
提供分布式存储框架的多节点部署和横向扩展功能。

分布式计算
提供Spark分布式内存计算引擎,支持海量数据的批处理功能;
提供Spark Streaming流数据处理功能;
提供Storm分布式流计算引擎,支持海量数据的实时计算功能;
支持分布式计算框架的多节点部署和横向扩展。

分布式查询
提供即席查询管理控制台,支持类SQL语言的交互式数据查询、搜索功能;
支持Elastic Search检索;
提供标准数据查询API接口,通过RESTful服务调用的形式使用;
具备数据的全文检索和条件检索功能;
具备数据分组和数据聚合功能;
具备数据排序和布尔运算功能;
支持检索条件的保存功能;
具备时序数据分析功能,如事件前后关联分析、时间连续性分析等操作。

数据挖掘算法库
内置常用数据分类分析算法,包括决策树分类算法、贝叶斯分类算法、K-近邻分类算法;
提供常用数据聚类分析算法,包括K均值聚类算法、分布估计聚类算法、高斯混合矩阵聚类算法;
提供常用数据聚类分析算法,包括多元线性回归算法、逻辑回归算法、自回归滑动平均算法;
提供常用数据关联分析算法,包括协同过滤算法、属性关联算法;
提供常用神经网络算法,包括BP反向传播神经网络、RBF径向基神经网络、CNN卷积神经网络;
提供数据挖掘流程模板库。

数据可视化模型
提供柱状图、饼图、折线图、弦图、关系图等常用图表模型;
支持图表的光标取值功能;
支持图表配色、图例等图表属性定义配置操作;
支持图表的实时刷新功能;
支持图表数据的上卷和下钻功能;
支持图表定义时的数据过滤和排序功能;
具备仪表板功能,支持将多个二维图表集中到仪表板中进行布局和显示。

建设效果

网络传输性能分析
通过比较席位到综处的上行指令与综处组帧后的上行遥控指令,统计遥控指令的丢包率、错报率
过比较席位到综处的上行指令与综处组帧后的上行遥控指令,统计从席位发送到综处发送间的上行遥控指令时延
比较符合数据和综处解析后的遥测数据,统计下行遥测数据的丢包率、错包率

飞行数据重现分析
根据飞行数据,绘制飞机的各类飞行参数的二位平面曲线
为了掌握飞行参数的微小时间段的变化规律,要求数据分析软件能够详细刻画飞行参数的局部曲线,实现对飞行数据曲线的缩放、平移、还原、光标吸附和光标取值等功能
计算指定参数在某一时间段的最大值、最小值、极大值、极小值和平均值功能

无人机操控优化分析
从下行遥测数据提取关键事件信息,包括起飞、降落、机动、打开载荷、关闭载荷的关键事件和起始时间
统计每次飞行架次的飞行指令、任控指令、链控指令的总数
计并可视化显示个飞行阶段飞控指令、任控指令、链控指令的分布情况
统计并可视化显示单个指令在不同阶段的分布情况。

故障预测分析
从下行遥测数据中分析设备故障、发生时间、故障等级
统计各类故障的次数即分布情况

相关产品

2019-08-21T17:12:32+00:00