转跳到内容

【破落剧场】同盟百米


推荐贴

39 分钟前, 水克火 说道:

w(゚Д゚)w在做腾讯的比赛,10个G的数据一点都不友好

奖金少了一半多,但是数据比去年多了几倍(吐血),而且他的数据给的,让人看不懂ε=(´ο`*)))唉

这不算还好吧?我顾客那里随便都有300GB的数据起跳而且还是压缩了的。。。。这个算还好吧?

往常的数据是多少啊?

kaichong水回不料路遇小白,被乱刀砍死.-4节操

链接到点评
23 分钟前, kaichong 说道:

这不算还好吧?我顾客那里随便都有300GB的数据起跳而且还是压缩了的。。。。这个算还好吧?

往常的数据是多少啊?

咱们的条件不一样QAQ,我们是家用电脑2333不是什么服务器

话说300g数据要做内存优化吧

往常差不多几个g,做做特征工程,大搞20、30个g吧,复赛原始数据就是几十个g

链接到点评
3 分钟前, 水克火 说道:

咱们的条件不一样QAQ,我们是家用电脑2333不是什么服务器

话说300g数据要做内存优化吧

往常差不多几个g,做做特征工程,大搞20、30个g吧,复赛原始数据就是几十个g

原来是这样啊。。。

内存优化倒是没什么,但是database的table不好太多,要不然会真的很吃资源的。。。

是啊,通常需要很大的内存和空间。。。基本上如果是SAP自己的hana数据库的话,他们所要的300GB资源大概就是大概600GB-1TB左右

因为他们的hana数据库的框架不同,什么都把东西丢在内存作变化,直到有结果了才写入数据库。。。

基本上如果table不多的话,IBM db2 数据库300GB的数据大概也是64GB -128GB左右吧,硬碟资源缓存大概就是内存的两倍左右吧。。。

链接到点评
2 小时前, kaichong 说道:

原来是这样啊。。。

内存优化倒是没什么,但是database的table不好太多,要不然会真的很吃资源的。。。

是啊,通常需要很大的内存和空间。。。基本上如果是SAP自己的hana数据库的话,他们所要的300GB资源大概就是大概600GB-1TB左右

因为他们的hana数据库的框架不同,什么都把东西丢在内存作变化,直到有结果了才写入数据库。。。

基本上如果table不多的话,IBM db2 数据库300GB的数据大概也是64GB -128GB左右吧,硬碟资源缓存大概就是内存的两倍左右吧。。。

 

2 小时前, kaichong 说道:

什么题目,还有是什么类型的数据啊?没有明确的东西吗?

哇,真羡慕啊,咱读个文件就快爆内存,更别说还要对它处理ε=(´ο`*)))唉

只能分片读进来处理了

预估广告日曝光量,然后腾讯估计把日志里的数据处理一下然后就给我们了QAQ

还得自己去转化,去count

链接到点评
×
×
  • 新建...

重要消息

为使您更好地使用该站点,请仔细阅读以下内容: 使用条款