大数据分析特点?
500
2024-04-23
贵州大数据项目一直以来备受关注,作为我国信息科技领域的重要发展方向之一,大数据在贵州得到了充分的重视和支持。贵州作为我国的大数据产业园区,近年来大力推进大数据产业发展,取得了显著成绩。
随着互联网技术的迅猛发展,大数据在各行各业的应用越来越广泛。贵州大数据项目作为贵州信息科技产业的重要组成部分,涉及到了数据采集、存储、处理、分析等多个环节。目前,贵州大数据项目的发展已经取得了一定的阶段性成果,但仍面临着诸多挑战和机遇。
作为全国大数据产业园区的贵州,在政策、资源、人才等方面拥有得天独厚的优势。政府一直积极支持大数据项目的发展,推动了大数据技术在贵州的广泛应用。贵州丰富的自然资源和开放的政策环境,为大数据产业的创新发展提供了良好的基础。
尽管贵州大数据项目发展态势良好,但也面临着一些挑战。首先,数据安全和隐私保护是大数据项目发展中需要解决的重要问题。其次,人才短缺和技术壁垒也是制约贵州大数据项目发展的重要因素。
随着科技的不断进步和政策的不断优化,贵州大数据项目的未来发展前景十分广阔。政府将继续加大对大数据项目的支持力度,促进大数据技术的创新应用,推动贵州大数据产业迈向更加繁荣的未来。
贵州大数据项目的发展不仅是贵州信息科技产业的重要组成部分,也是我国信息产业发展的重要推动力量。希望通过持续的努力和创新,贵州大数据项目能够在未来取得更加辉煌的成就,为贵州乃至整个中国的信息产业发展贡献更多力量。
本人18年考清华大数据工程专业,前几天出的消息,我考上了。复试笔试完,当场有个宣讲会,大致讲了一下大数据专业。在贵州培养的原因是大数据的学习离不开工程实践,必须要去有数据的地方学习,贵阳要建设大数据之都,软件硬件都是培养大数据人才的绝佳之地。据老师说,这个专业学的知识和“人工智能”相关度很高,而且,大数据专业并不是全在贵州培养。流程大概是这样的,半年在深研院上课,然后清华本部的老师带着去贵州做项目1.5年,之后回到深圳写毕业论文,只需要2.5年就可以毕业。
…………………………………割………………………………
2018.9.11更改信息,北京那边的导师早已确定了,培养方案是这样的,本部的导师最多去贵州给同学们上课,并不会带着学生去贵州做项目,贵州有企业导师可能会带着做项目。不过,这些企业完全没有名气,竟然有搞金属冶炼和食品厂这种,很难有好的项目可以做。企业导师学术水平也和清华的导师根本没法比,有同学联系贵州那边的企业导师,那边也给不出明确说法。
现在北京的导师们好多都说,让我们在深圳上完半年尽快去北京,自动化系教务处黄老师说和贵州那边签约了,接下来的一年半必须在贵州培养。深圳这边的袁博老师跟我们讲,去贵州应该是一定要去的,一年半的话时间确实太长了,还会耽误大家找工作,毕竟没人想在贵州找工作。
到底怎么安排,学校好像还没确定具体方案,现在仍然是走一步看一步,前途不明朗。想学大数据的同学可以考虑北京或深圳,深圳这边控制工程的同学也有数据科学项目,实习的企业可能是BAT级别的。贵州大数据项目现在来看不很明朗,而18届考研难度和控制工程相差无几,慎重报考。
………………………………割…………………………………
2018.9.24更新信息,上次更新完收到一些私信,问我是不是入坑了之类的,可能我吐槽的太狠了吧 。
扪心自问,再选一次,会不会报控制工程,可能会,但是,大数据的导师毕竟是本部导师,总体水平比深圳这边要高一些,也不算太后悔。
再选一次,会不会报其他学校,不会,因为这里是清华,是大家从小听到大的两个字,清华。
建议,想考自动化系专硕,对大数据方向不是很热爱的,或是完全不想去贵州,请转控制工程,我们这届考研难度差不多。
想学大数据的,清华伯克利学院有数据科学,控制工程也有数据科学,当然,还有我们大数据专业。具体怎么样,只能看时间检验,不过我以为,大概率三种方式培养的大数据方向的学生,虽然培养形式略有不同,但是毕业生水平不相上下。
说一下我们大数据班级的近况吧,学校在想办法在深圳这边给我们安排工位(实验室位置)。北京本部教务处的黄海燕老师、大数据项目负责人胡坚明老师,深研院教务处的黄林燕老师、深研院信息学院部李秀老师都加了我们班群。遇到的一些学习上问题,可以直接反映,感觉学校不会坑了自己的学生,要对学校有信心 。
关于导师,虽然现在不能进我导师的实验室(在北京),但是他也通过邮件,微信远程指导安排了学习任务,加了实验室的微信群和google group,每周一次邮件周报。所以说,有自由度,但是还是由导师指导方向。
-------------------------割----------------------
2018/10/15更新信息,昨天本部的老师团队来给我们开了个会,主要回答同学们提出的问题,没有电脑的,用自己的笔记本,划出来一个自习室作为工位。给同学们的感受是还可以的,遇到许多的问题,也都在解决。
------------------------割----------------------
2019/2/25更新信息,新学期已经开学了,在贵州这边进行报到,还举行了小规模的开学典礼,自动化系的领导团队、贵阳科技局的领导、贵阳市zf的副市长都来参与了,可以看出当地对于这项工作还是比较重视,至少形式上重视(手动狗头)。
这学期的安排,还是有挺多课程,清华做大数据人工智能方向的多位大佬都从北京来贵阳给我们开讲座课。所以说学校,至少说自动化系是对这个项目挺重视的。学校这么做,是借鉴了国外的模式,把专硕直接弄到工作环境中,进行实训,而不是待在实验室里研究写论文。毕竟通过这个项目,自动化系每年多培养30个人呢。
可以讲这个模式想法还是挺好的,大方向的问题在于,怎么保证研究生培养的水平,企业导师和导师也都在关注这个问题,进到企业,研究工作要基于企业的环境展开,究竟做到什么水平,还不得而知。
具体到个人,大部分同学都是毕业后参加工作,由于可能要在贵阳呆一年半,也许就没有很好的去大公司的实习机会(很多公司都是实习后可以留下来的),影响到找工作的选择余地,在贵阳工作当然很受欢迎,不过就我所在的公司而言,总经理就是企业导师,他本身就是大学老师,他带的硕士找工作也没有想在贵阳,所以贵阳能给出什么条件留住人,目前也不得而知。
说个有点丧的问题吧,有个学弟说,今年年考了大数据,感觉可能是坑,复试有点想调剂伯克利,问我大数据项目的优势在哪里,我说,不好说。前天开学典礼,后面有和老师们交流的环节,我鼓起勇气问了这个问题,老师们说看个人的兴趣,想做什么工作,不能给出建议,还是看个人的想法。可以说也是很模糊,这个项目属于清华的培养方式的新探索,究竟探索成什么模样,能出多少成果,学生毕业去向又如何,可以说目前仍不明朗。所以可以说老师们也不敢打包票说能如何如何,如果想稳一点,我个人建议除非对大数据尤其感兴趣,不然尽量先不要来趟这水。
不过,其实北京那边的培养模式,我看好多是靠的学生自主,就是实验室提供大方向和资源,然后就是师傅领进门,修行靠个人了。关于保证学生培养的质量的问题,深研院的院长说,清华学生培养质量高,有一个绝招,就是招的学生质量高(手动狗头),所以学弟学妹们也要相信自己,只要给你土壤和水,你就能长成参天大树。
------------------------割----------------------
2019年4月11日
这两天本部的黄老师和王老师来了,很认真的跟同学们谈心,平均到每位同学身上能有20分钟,我感触也比较深。
这个大数据项目,真的是困难重重,许多问题都是到了企业到了贵阳才发现,不只是从同学看企业的角度,看贵阳的角度,其实,整个系统里面有五个主要参与方,主要参与方肯定是各有自己的想法,同学,北京导师,企业导师,自动化系,贵阳科技局。
现在的情况不很理想,对同学来说影响最大,最深,因为对于其他参与方,也许只是一个项目,而对于同学,是自己的人生。由于我们的学制是两年半,所以要求这学期就必须开题,然而不少同学,包括我,都比较迷茫,由于系里要求做的东西要和企业相关,北京的导师对学生的方向指导非常受限,不少同学反映企业没什么培养高端人才的经验,企业规模较小,做的都是很工程性的东西,甚至不太需要核心技术,企业的需求和导师、自己的研究方向不容易契合。此外,由于规模较小,食堂、体育馆、图书馆这样的学校基础设施也变得稀缺起来,生活上肯定也是没有学校方便。
对于导师来讲,绝大部分导师都是对学生认真负责,但是同时,导师又比较忙,专门抽时间照顾自己课题组外的学生,实在是奢侈。当然也有一些同学在导师的课题组内,导师或是师兄师姐给的指导就比较多,也做出了一些成果,但这就需要同时做两边的东西,或是较少投入到企业中(导师派活儿肯定是首要的)。
对于企业导师来讲,招到了清华的实习生,每月都要发实习工资,可是发现这帮人没有员工那么听话,也好像不能给公司干很多活儿。
对于自动化系来讲,招这一批学生,管理上问题层出不穷,异地培养需要很多资金支持,系里一直要忙前忙后。
对于贵阳高新区、科技局同样感觉费力不讨好,一直收到同学的各种要求,食堂不行,不能借书,没地方运动等等。不停地投钱,不停地做工作,也是辛苦的不行。
目前,所有主要参与方都不满意,什么原因呢,我觉得,实习的企业不是同学们应该去的企业,这是最主要的原因。大部分同学毕业都要去互联网公司,而不是这些公司,这说明这些公司原本就不适合同学们进行实习,很多公司的任务都不是大数据的任务,同学认为和自己和导师的方向不一致,就不敢做、不愿做。拿切肉刀去切菜,真的还没有菜刀好用。其次,我觉得,各方不能急功近利,同学们来企业,并不是拿了一整套学识来的,而是作为一个研究生一年级的学生,做研究和做工程的经验都还很不足,这时候又没人给很多指导,成长会稍微慢一些。尚且没有找到一个合适的、能结合各方需求的研究方向,所以好些同学还没什么研究成果。
突破口在哪里,今天中午,黄老师和王老师找班委开会,谈的就是各方的困难。想解决问题,困难在哪里突破口就在哪里,最大的困难就是同学遇到的困难,最大的突破口也就是同学。王老师说,同学认为在企业做的东西low,但是如果能把看似low的东西做漂亮,让企业竖起大拇指,让高新区和学校看到各种成果,那就是多方共赢的局面。其实我想说,同学未尝不想做好,但是还是有些问题,北京导师离得太远,企业给不了指导,没有合适的方向。
还是阳光一点,贵阳高新区想了办法让同学的聪明才智更好的展现出来,就是给出一些资金让企业和清华开展项目合作,为企业解决问题,也在项目中锻炼同学的专业技能。自动化系也想了办法让同学更好的使用北京的资源,比如弄“学长制”,找一些师兄专门给同学指导。又比如想弄“summer school”,暑假让同学们在北京呆上一两个月,更多和导师、师兄师姐交流。班里同学的学风还是可以的,每天都有同学学到凌晨,见面经常谈论个人发展,遇到的问题什么的,我觉得同学们虽然对于现状吐槽很多,但是天资聪颖,渴望进步,学习态度端正,在有了方向后肯定会突飞猛进,然后做出一堆成果,使得各方受益。
最后,2020届和我们18届19届可能不太一样,清华深研院升级成国际研究生院了,相当于清华的一个院系,有了自主招生权。现在的学生统一写的清华大学,2020届深圳招的控制工程学生,毕业证写的就是国际研究生院。因为大数据项目是自动化系主导的招生,只是放在深研院培养一段时间,并不是深圳的学生,所以20届大数据的学生怎么算,现在好像还没定论。哦,好像20届招的就不是控制工程了,说要和国际接轨,电子、自动化等系的硕士生都是电子信息的毕业证,按照王老师的想法,以后的竞争可能更加激烈。
------------------------割----------------------
2019年9月1日
几个月过去了,又有不少人私信我,先回答一下很多师弟师妹的疑问。
一:深圳国际研究生院和原来的深研院有什么区别?
区别是有一点,之前的话是各个院系的学历,现在是深圳国际研究生院的学历,同样都是清华大学,院系不同而已。
二:推荐去深研院的大数据还是自动化系的大数据?
各有优势,自动化系的大数据有北京的导师,深研院的大数据有深圳的地理位置,方便查阅资料、找实习。相比较而言在贵阳期间离老师远,时间安排上自由度更大。我目前仍是原有观点,培养的过程有所不同,结果估计大同小异。但是就培养过程来看,个人略倾向于深圳的培养环境。学习环境和生活环境都比贵阳的大数据基地好一些。
三:贵阳基地的基础设施建设如何?
宿舍不错,三人寝,网速快,有空调&热水器;
食堂规模很小选择少;
目前没有任何便利的免费运动场所;
图书室书籍稀少,聊胜于无。
四 :可以选择不在贵阳进行实践而选择长期呆在北京实验室吗?
有很大困难,这学期开始,因为在贵阳没有课程了,之前说和高新区出资让清华和企业进行合作的项目,全部取消了,所以不少同学在贵阳没有课程也没有项目,于是没有待下去的理由,就自作主张去了北京。这些同学不同程度的受到了批评,现在已经全部遣返。上周起,自动化系让同学们周一至周五每天在贵州基地签到,确保在贵阳。同时今天刚刚发布新规定,严格限制了请假时间(离开贵阳的时间)。
然后说一下近况吧,研一下在贵阳是有课的,学校在六月中旬组织了一波去北京的学习,按说7月初要回到贵阳,大家纷纷请了半个月假,继续待到暑假开始,然后不少同学(包括我)在北京呆了整个暑假,满打满算两个月。到北京的感受就是,这里才是学校,学校的基础设施在出了校门后才能更感到珍贵,许多大佬讲座和有意思的比赛也只在北京才能享受到。相比之下,贵阳没有学校的氛围,也没有很多条件相似的同学,在毕业前找男女朋友变得困难重重,这也是我们始料未及的。作为专硕,面临就业是更大的一个问题,过段时间要开始找实习了,贵阳的企业实习经历在找工作中估计没有什么正向作用,而在深圳和北京找大公司的实习会方便许多。
前几天我作为班委和贵阳科技局的领导交流,提出了希望能够给同学更大的自由度,让一些在贵阳没有项目可做的同学能够更长时间呆在北京,科技局的领导表示理解,并同意我的观点:学校的职责和使命就是使学生更好的成长成才,而不是限制学生自由而全面发展的空间。科技局的领导对于我们的诉求表示支持,并说希望我们第一届的同学当先驱而不是先烈,并希望班委拟定出一份请假/出差方案,然后他出面向学校转告一下这个诉求。其实学生的诉求应该直接反馈到学校,而不是基地,三周后不少老师会到贵阳参与同学们的开题工作,自动化系老师的意思是有问题到时候再谈。目前,下一届的改革方向是北京导师和贵阳的企业合作项目,然后大数据方向的学生来做这个项目,这样就不会在贵阳无事可做。
------------------------割----------------------
这一年多,有挺多人问我后续大数据项目的发展情况,我以自身和听到的同学情况和大家分享一下吧。按时间顺序,分别介绍一下学业情况、毕业情况和找工作情况。
第一是学业,大家的方向还是挺多的,我听到的方向大致有NLP、推荐、区块链,CV、异常识别、故障检测等等。多数同学是做深度学习的应用,也有同学在真实项目中做系统。因为大家的研究方向各异,所以不太好评判方向的优劣,不过我发现无论哪个方向,多给导师干活儿的同学往往研究成果更丰富,所以建议大家多听多做。
第二是毕业情况,由于疫情等各种原因,我们班的同学没能都按原定的两年半毕业。全部的30个同学里,9位选择1月份毕业的全部毕业了。 21位选择6月份毕业的有14位按期毕业。明明大家都天资聪颖,但仍有7位同学不能按期毕业,有直接原因也有间接原因。其一是学校从21年6月这批开始,对硕士毕业抓的严了,不止大数据专业,全校都有一定比例不能按时毕业的。其二是因为我们这一届,不少同学因为疫情和无人督促等原因导致研究进展较慢,在预答辩的时候还没准备好内容,因而不能按时毕业。其三是由于我们是第一届,导师和同学间没有建立良好的机制,一些同学闭门造车做的研究不够深不够多,导致论文出现各种问题因而没通过答辩。需要说明的是,包括我在内的通过答辩的同学,许多也没能达到系里和老师的全部期望。当然,也有同学发了多篇论文甚至多篇顶会,这种同学毕业就是小菜一碟。预答辩后有老师给我们开了个会.我作为班委做了简要记录,希望后来者能吸取教训,端正态度早做准备。
答辩完大家一起聊天,有个同学说了一句:“当潮水退去,才知道谁在裸泳",这句话让我们感慨万千。
第三是就业情况,能按期毕业的同学,就业情况和深圳控制工程是类似的(不过或许选择在北京的比例更高),多数同学选择了高薪互联网大厂,大几十万年薪的同学并不鲜见,有同学选择了央企、选调、研发机构等,也有同学转行去投行等金融机构,还有个别同学选择出国到国际组织工作。各种选择各有优劣,我不做评判了,大家都是给社会创造价值,主要看个人的选择。不过我想提一点感悟,求职时清华的学历是很好的敲门砖,但对于多数工作也只是敲门砖,天道酬勤,在读研和求职时都是成立的,高薪或是发展空间大的工作需要更多的努力。
因为贵州电多且便宜,贵州多山多瀑布,水电为主,服务器跑起来温和,寿命长,而且贵州空气洁净,贵州不是工业省,没那么多污染,灰尘少对服务器影响小。
贵州地理位置温度适宜,贵州高原,温度常年20来度,这就省了不知多少空调制冷费了。西藏也干净,温度更低,但是要把服务器运抵藏区,成本太高了,而且西藏没那么多电。
还要稳当,机房不能建在地震带上,不然万一地震了,一看新闻联播,苹果appstore宕机,因为机房塌了。那损失的就不只是机器费用了。当然也不能遇海啸,台风。贵州全是山,压得住。就算所有服务器同时开机,也能顶住硬盘的共振,不会地震的。
大数据在贵州得到快速发展和普及:
1. 政策优势:贵州省政府高度重视大数据产业的发展,出台了一系列相关政策和措施,如《贵州省大数据发展促进条例》等,以鼓励大数据企业在贵州落地发展。
2. 自然优势:贵州地处中国内陆,高山峡谷起伏,气候潮湿,适宜数据中心的建设。而且贵州有较为丰富的水资源和充足的电力资源,能够满足数据中心对电力和制冷等能源需求。
3. 技术优势:贵州省早在2003年就开始了云计算技术的研究,并将大数据发展作为九大支柱产业之一。并且贵州大学、贵州师范大学、贵州理工学院等高校和研究机构也积极开展大数据领域的研究和应用。
4. 贵州运营商的发展也是促进大数据的兴起和发展。由于贵州移动、联通等运营商的大力推动,数据中心的建设和大数据产业的发展得到了很多的支持和助力。同时贵州移动已经开展了云数据等业务,助力贵州大数据的发展。
因此,贵州作为一个农业大省,为了追求经济发展,发展大数据产业是一个不错的选择。
2021年大数据数博会举办时间是5月26日(星期三)到5月28日(星期五)举办,至于放不放假还没有通知,不过根据以往的经历,因为人流量比较大,出于安全考虑,估计学校可能会提前一天放假(瞎猜的,不做参考)。但是放不放假还得听官方的通知。
大数据又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
资产本身不会传销的,但是打着大数据旗号,拉人参与的,通常是传销或者诈骗。国务院 《禁止传销条例》 第七条下列行为,属于传销行为: (一)组织者或者经营者通过发展人员,要求被发展人员发展其他人员加入,对发展的人员以其直接或者间接滚动发展的人员数量为依据计算和给付报酬(包括物质奖励和其他经济利益,下同),牟取非法利益的; (二)组织者或者经营者通过发展人员,要求被发展人员交纳费用或者以认购商品等方式变相交纳费用,取得加入或者发展其他人员加入的资格,牟取非法利益的; (三)组织者或者经营者通过发展人员,要求被发展人员发展其他人员加入,形成上下线关系,并以下线的销售业绩为依据计算和给付上线报酬,牟取非法利益的。12020年贵州大学专业排名
1 土木工程 4.7(384人)
2 计算机科学与技术 4.6(270人)
3 机械设计制造及其自动化 4.5(240人)
4 采矿工程 4.6(210人)
5 电气工程及其自动化 4.7(209人)
6 法学 4.2(152人)
7 经济学类 4.1(130人)
8 哲学 3.8(108人)
9 土建类 4.5(93人)
10 经济学 4.6(91人)
贵州从5年前开始不留余力的发展大数据产业以来,获得的荣誉和成果也还是非常多的,现在也正在慢慢将这些成果转化为经济实力。
贵州发展大数据产业主要是贵阳和贵安新区,贵阳连续举办了多届数博会,从以前的省级会议上升到了国家级,并获得了数博会永久在贵阳召开的特权,数博会也给贵阳提高了知名度,让更多的人了解了贵阳。
大数据局有多个项目,包括数据分析与挖掘、数据治理与安全、数据可视化与展示等。在数据分析与挖掘方面,大数据局致力于利用大数据技术和算法,对海量数据进行深入分析和挖掘,以发现数据中的潜在价值和规律。
在数据治理与安全方面,大数据局负责建立数据管理规范和安全策略,确保数据的合规性和安全性。在数据可视化与展示方面,大数据局开发各种可视化工具和平台,将复杂的数据以直观的方式展示出来,帮助用户更好地理解和利用数据。此外,大数据局还积极推动数据共享和开放,促进数据的跨部门和跨机构应用。
大数据开发步骤:
第一步:需求:数据的输入和数据的产出;
第二步:数据量、处理效率、可靠性、可维护性、简洁性;
第三步:数据建模;
第四步:架构设计:数据怎么进来,输出怎么展示,最最重要的是处理流出数据的架构;
第五步:再次思考大数据系统和企业IT系统的交互;
第六步:最终确定选择、规范等;
第七步:基于数据建模写基础服务代码;
第八步:正式编写第一个模块;
第九步:实现其它的模块,并完成测试和调试等;
第十步:测试和验收;
大数据流程:
从流程角度上看,整个大数据处理可分成4个主要步骤。
第一步是数据的搜集与存储;
第二步是通过数据分析技术对数据进行探索性研究,包括无关数据的剔除,即数据清洗,与寻找数据的模式探索数据的价值所在;
第三步为在基本数据分析的基础上,选择和开发数据分析算法,对数据进行建模。从数据中提取有价值的信息,这其实是真正的阿里云大数据的学习过程。这当中会涉及很多算法和技术,比如机器学习算法等;
最后一步是对模型的部署和应用,即把研究出来的模型应用到生产环境之中。
1) 数据采集:定制开发采集程序,或使用开源框架flume
2) 数据预处理:定制开发mapreduce程序运行于hadoop集群
3) 数据仓库技术:基于hadoop之上的Hive
4) 数据导出:基于hadoop的sqoop数据导入导出工具
5) 数据可视化:定制开发web程序或使用kettle等产品