以文本方式查看主题

-  金字塔客服中心 - 专业程序化交易软件提供商  (http://222.73.7.161/bbs/index.asp)
--  金字塔软件问题提交  (http://222.73.7.161/bbs/list.asp?boardid=2)
----  历史数据保留和切分的问题与建议  (http://222.73.7.161/bbs/dispbbs.asp?boardid=2&id=66453)

--  作者:fantasynew
--  发布时间:2014/6/21 11:18:10
--  历史数据保留和切分的问题与建议
现在可以离线下载历史数据了,赞一个。但是导入依然很慢。
而且需要导入的数据不少,操作步骤多次重复。

用到超长历史数据通常都是为了做测试和训练盘感,
而过多的数据又会导致磁盘IO效率降低,软件运行速度变慢。

为综合解决上述问题,建议如下:
1、将超长数据和常用历史数据区分开来,兼顾运行效率和测试需求;
2、提供超长数据的DAT文件,免去漫长的导入过程,也免去工作人员漫长的导出过程;
3、常用历史数据可以按年切分,也可以按数据量切分,如日线、1分钟、5分钟各10000根,超出则优先查找超长历史数据。
具体数据怎样切分综合效率最高当然你们更专业;
4、为降低服务器压力,数据可以用百度网盘发布,不占服务器空间和带宽,下载速度还快;
5、每天的收盘工作需要简化,因为没法保证盘中数据不缺,都是用数据补充功能收盘。
这个补当天日线还行,补1分钟和5分钟数据的时间太过漫长了,都是几个小时(补股票和期货数据)。
建议优化数据补充机制。某软件补全市场当日日线1分钟5分钟数据只要几分钟,金字塔加油!

--  作者:RogarZ
--  发布时间:2014/6/23 9:11:19
--  
感谢您的建议
--  作者:fantasynew
--  发布时间:2014/6/23 16:13:11
--  
感谢版主关注
--  作者:fantasynew
--  发布时间:2014/6/23 16:54:58
--  
想和版主反馈一下,数据补充真的太难了,上海免费服务器,日线下载都要很久,经常断开连接。
1分钟5分钟有时候挂一个晚上都下不好。

--  作者:FexTel
--  发布时间:2014/6/23 16:56:35
--  

1,你那边是什么网络?

 

目前下载程序还没用户反馈有这么慢,而且下载时链接还是很稳定


--  作者:fantasynew
--  发布时间:2014/6/23 18:08:26
--  
电信光纤,我也不知道为什么补充这么慢。
同样补全市场数据,别的软件只要几分钟,我这最多只能补完日线,5分钟数据这几天一直在试,没下载完整过。

--  作者:FexTel
--  发布时间:2014/6/24 9:47:05
--  

210.14.65.73,ping下

 

我们本地和其它用户下载还是很稳定的


--  作者:fantasynew
--  发布时间:2014/6/24 13:54:32
--  
延时20多,TTL50,偶尔有请求超时
--  作者:FexTel
--  发布时间:2014/6/24 13:59:21
--  

 那也还行,下载状况怎么会差成这样?

 

你可以试试公司网络或者其它网络看下下载是不是稳定的,目前你本地个别现象我们无法处理


--  作者:fantasynew
--  发布时间:2014/6/24 16:20:48
--  
我试了下,只补充期货还是很快的,如果想补充沪深5分钟1分钟就很难完成。