撒旦 发表于 2018-1-12 18:52:01

遇女心惊 发表于 2018-1-12 09:10
web开发数据处理这方面倒没什么问题,这些需求我用php+mysql差不多也能处理。我想问,数据是从哪里采集的 ...

1、最简单的方式就是读取数据库,但是一般大型企业都设置网络物理隔离,访问数据库权限非常高,但是企业内部有网页可以显示实时数据,只能采用间接方式网页采集方式。
2、其它功能基本都是模式化的,数据分析这一块是最难的,目前我还有一个问题用excel数据分析一直没有解决。
例如:5台发电机组,每天开机、停机时间频繁,通过采集各台机组开机、停机时间,利用数据分析功能可以自动实现按时间排序机组、按机组排序时间、每台机组开停机次数、总开停机次数、按机组分类显示、某一时刻开着几台机、停着几台机等等,这些功能都已实现,但是无法实现当天最多的时候开着几台机,最少的时候开着几台机的数据分析。这个可能和机组时间轴有关系,目前我还没有方法利用编程+excel数据分析完成这个功能。

撒旦 发表于 2018-1-12 18:59:27

夕米调 发表于 2018-1-12 09:57
大神!!!!!!!

你楼上的才是大神+高富帅,记得去泡一下他

遇女心惊 发表于 2018-1-13 10:30:16

本帖最后由 遇女心惊 于 2018-1-13 10:45 编辑

撒旦 发表于 2018-1-12 18:52
1、最简单的方式就是读取数据库,但是一般大型企业都设置网络物理隔离,访问数据库权限非常高,但是企业 ...
应该不难吧,我好奇是怎么采集关机开机数据的。
有机器开启关闭,就记录时间点,再统计下这个点的开机关机总数,有必要的话再记录机器编号,存到一个表里。每天自动汇总归档。可以设置系统任务,每隔1秒几秒去遍历机器统计数据
当然以你聪明才智肯定也想到这了,我也是不了解实际情况的瞎说,,时间轴是啥?

撒旦 发表于 2018-1-14 23:06:05

本帖最后由 撒旦 于 2018-1-14 23:16 编辑

遇女心惊 发表于 2018-1-13 10:30
应该不难吧,我好奇是怎么采集关机开机数据的。
有机器开启关闭,就记录时间点,再统计下这个点的开机关 ...

时间精确到秒,按照你说的遍历1秒一个循环,24小时要遍历循环8W多次再作比较找出最大最小值,倒是可以实现的,但是这不科学,程序部分采集+计算+生成不到10秒,为了这个功能干个几分钟、十几分钟得不偿失。
1台机组开机时间是从开启到停止这段时间,因此可能存在其他机组在这段时间也有开机、停机,再甚停机后又有开机,分析起来太复杂,当时我的初步想法是利用excel强大数据分析能力配合公式、不利用代码来达到秒算的效果,苦于一直没找到方法。

遇女心惊 发表于 2018-1-16 08:54:31

撒旦 发表于 2018-1-14 23:06
时间精确到秒,按照你说的遍历1秒一个循环,24小时要遍历循环8W多次再作比较找出最大最小值,倒是可以 ...

24小时才8W多次,对于计算机来说根本不是事啊。而且,只要不是几十万上百万数据,哪里要几分钟,一秒几秒就搞定了

撒旦 发表于 2018-1-16 22:25:16

本帖最后由 撒旦 于 2018-1-16 22:32 编辑

遇女心惊 发表于 2018-1-16 08:54
24小时才8W多次,对于计算机来说根本不是事啊。而且,只要不是几十万上百万数据,哪里要几分钟,一秒几秒 ...

①VB在excel中运行效率本身就不高,我做过另外一个循环测试,大概40余次用了8秒,当然因为涉及到网络,可能和网络速度有关系,但是总体而言效率低下是事实。
②按照这个思路来写,并不是单纯的每秒做个判据遍历就可以了,本身机组可能涉及到跨日数据,判据太多,必须嵌套几十层循环,用不好就容易死循环了

遇女心惊 发表于 2018-1-19 09:27:50

那就不要vb,用js,php这些网络语言都比他快。你不是会c吗,c最快
页: 1 [2]
查看完整版本: excel处理大数据