基于Spark分布式框架的海量星表数据时序重构方法研究

摘要： 时序重构是时域天文学中的一个重要数据处理步骤，也是拟合光变曲线、开展时域分析研究的基础。Hadoop、Spark这类MapReduce分布式模型在执行过程中分布式集群节点间的任务比较独立，需要跨节点的数据传输量较少。提出了非阻塞异步执行流程，每个分布式进程完全针对独立天区的数据进行连续处理，而分块边缘的新增天体导致的其他节点的新增证认任务延时批量追加，并且会根据各进程间的进度不... （共16页）