研究生数据挖掘学什么 数据挖掘的研究生方向

掌握梦想2023-03-21 09:41:263671

研究生人工智能与数据挖掘方向需要学什么语言吗?比如java或者c++之类?请问你是数据挖掘的研究生?数据挖掘研究生阶段都学什么?数据分析中的数据挖掘侧重学习什么?

本文导航

数据挖掘的研究生方向

我研究生是数据挖掘的方向 人工智能主要是学一些理论知识 因为人工智能能在任何一个计算机方向上得到运用 所以老师并没有指定一门语言 而是希望我们在自己的方向上用上这些知识

数据库挖掘的话 我们导师是要求我们看下java sql还有sqlserver 毕竟研究生阶段还是要帮老师做项目的 我们这都用java做的项目 并且很多课程都是建议我们用java编程实现 所以学点java还是有好处的

数据挖掘及应用主要学什么

  数据挖掘(Data Mining)就是从大量数据中发现潜在规律、提取有用知识的方法和技术。因为与数据库密切相关,又称为数据库知识发现(Knowledge Discovery in Databases,KDD) ,就是将高级智能计算技术应用于大量数据中,让计算机在有人或无人指导的情况下从海量数据中发现潜在的,有用的模式(也叫知识)。

  广义上说,任何从数据库中挖掘信息的过程都叫做数据挖掘。从这点看来,数据挖掘就是BI(商业智能)。但从技术术语上说,数据挖掘(Data Mining)特指的是:源数据经过清洗和转换等成为适合于挖掘的数据集。数据挖掘在这种具有固定形式的数据集上完成知识的提炼,最后以合适的知识模式用于进一步分析决策工作。从这种狭义的观点上,我们可以定义:数据挖掘是从特定形式的数据集中提炼知识的过程。数据挖掘往往针对特定的数据、特定的问题,选择一种或者多种挖掘算法,找到数据下面隐藏的规律,这些规律往往被用来预测、支持决策。

数据挖掘的主要功能

  1. 分类:按照分析对象的属性、特征,建立不同的组类来描述事物。例如:银行部门根据以前的数据将客户分成了不同的类别,现在就可以根据这些来区分新申请贷款的客户,以采取相应的贷款方案。

  2. 聚类:识别出分析对内在的规则,按照这些规则把对象分成若干类。例如:将申请人分为高度风险申请者,中度风险申请者,低度风险申请者。

  3. 关联规则和序列模式的发现:关联是某种事物发生时其他事物会发生的这样一种联系。例如:每天购买啤酒的人也有可能购买香烟,比重有多大,可以通过关联的支持度和可信度来描述。与关联不同,序列是一种纵向的联系。例如:今天银行调整利率,明天股市的变化。

  4. 预测:把握分析对象发展的规律,对未来的趋势做出预见。例如:对未来经济发展的判断。

  5. 偏差的检测:对分析对象的少数的、极端的特例的描述,揭示内在的原因。例如:在银行的100万笔交易中有500例的欺诈行为,银行为了稳健经营,就要发现这500例的内在因素,减小以后经营的风险。

  需要注意的是:数据挖掘的各项功能不是独立存在的,在数据挖掘中互相联系,发挥作用。

数据挖掘的方法及工具

  作为一门处理数据的新兴技术,数据挖掘有许多的新特征。首先,数据挖掘面对的是海量的数据,这也是数据挖掘产生的原因。其次,数据可能是不完全的、有噪声的、随机的,有复杂的数据结构,维数大。最后,数据挖掘是许多学科的交叉,运用了统计学,计算机,数学等学科的技术。以下是常见和应用最广泛的算法和模型:

  (1) 传统统计方法:① 抽样技术:我们面对的是大量的数据,对所有的数据进行分析是不可能的也是没有必要的,就要在理论的指导下进行合理的抽样。② 多元统计分析:因子分析,聚类分析等。③ 统计预测方法,如回归分析,时间序列分析等。

  (2) 可视化技术:用图表等方式把数据特征用直观地表述出来,如直方图等,这其中运用的许多描述统计的方法。可视化技术面对的一个难题是高维数据的可视化。

职业能力要求

基本能力要求

  数据挖掘人员需具备以下基本条件,才可以完成数据挖掘项目中的相关任务。

  一、专业技能

  硕士以上学历,数据挖掘、统计学、数据库相关专业,熟练掌握关系数据库技术,具有数据库系统开发经验

  熟练掌握常用的数据挖掘算法

  具备数理统计理论基础,并熟悉常用的统计工具软件

  二、行业知识

  具有相关的行业知识,或者能够很快熟悉相关的行业知识

  三、合作精神

  具有良好的团队合作精神,能够主动和项目中其他成员紧密合作

  四、客户关系能力

  具有良好的客户沟通能力,能够明确阐述数据挖掘项目的重点和难点,善于调整客户对数据挖掘的误解和过高期望

  具有良好的知识转移能力,能够尽快地让模型维护人员了解并掌握数据挖掘方法论及建模实施能力

进阶能力要求

  数据挖掘人员具备如下条件,可以提高数据挖掘项目的实施效率,缩短项目周期。

  具有数据仓库项目实施经验,熟悉数据仓库技术及方法论

  熟练掌握SQL语言,包括复杂查询、性能调优

  熟练掌握ETL开发工具和技术

  熟练掌握Microsoft Office软件,包括Excel和PowerPoint中的各种统计图形技术

  善于将挖掘结果和客户的业务管理相结合,根据数据挖掘的成果向客户提供有价值的可行性操作方案

应用及就业领域

  当前数据挖掘应用主要集中在电信(客户分析),零售(销售预测),农业(行业数据预测),网络日志(网页定制),银行(客户欺诈),电力(客户呼叫),生物(基因),天体(星体分类),化工,医药等方面。当前它能解决的问题典型在于:数据库营销(Database Marketing)、客户群体划分(Customer Segmentation & Classification)、背景分析(Profile Analysis)、交叉销售(Cross-selling)等市场分析行为,以及客户流失性分析(Churn Analysis)、客户信用记分(Credit Scoring)、欺诈发现(Fraud Detection)等等,在许多领域得到了成功的应用。如果你访问著名的亚马逊网上书店(www.amazon.com),会发现当你选中一本书后,会出现相关的推荐数目“Customers who bought this book also bought”,这背后就是数据挖掘技术在发挥作用。

  数据挖掘的对象是某一专业领域中积累的数据;挖掘过程是一个人机交互、多次反复的过程;挖掘的结果要应用于该专业。因此数据挖掘的整个过程都离不开应用领域的专业知识。“Business First, technique second”是数据挖掘的特点。因此学习数据挖掘不意味着丢弃原有专业知识和经验。相反,有其它行业背景是从事数据挖掘的一大优势。如有销售,财务,机械,制造,call center等工作经验的,通过学习数据挖掘,可以提升个人职业层次,在不改变原专业的情况下,从原来的事务型角色向分析型角色转变。从80年代末的初露头角到90年代末的广泛应用,以数据挖掘为核心的商业智能(BI)已经成为IT及其它行业中的一个新宠。

数据采集分析专员

  职位介绍:数据采集分析专员的主要职责是把公司运营的数据收集起来,再从中挖掘出规律性的信息来指导公司的战略方向。这个职位常被忽略,但相当重要。由于数据库技术最先出现于计算机领域,同时计算机数据库具有海量存储、查找迅速、分析半自动化等特点,数据采集分析专员最先出现于计算机行业,后来随着计算机应用的普及扩展到了各个行业。该职位一般提供给懂数据库应用和具有一定统计分析能力的人。有计算机特长的统计专业人员,或学过数据挖掘的计算机专业人员都可以胜任此工作,不过最好能够对所在行业的市场情况具有一定的了解。

  求职建议:由于很多公司追求短期利益而不注重长期战略的现状,目前国内很多企业对此职位的重视程度不够。但大型公司、外企对此职位的重视程度较高,随着时间的推移该职位会有升温的趋势。另外,数据采集分析专员很容易获得行业经验,他们在分析过程中能够很轻易地把握该行业的市场情况、客户习惯、渠道分布等关键情况,因此如果想在某行创业,从数据采集分析专员干起是一个不错的选择。

市场/数据分析师

  1. 市场数据分析是现代市场营销科学必不可少的关键环节: Marketing/Data Analyst从业最多的行业: Direct Marketing (直接面向客户的市场营销) 吧,自90年代以来, Direct Marketing越来越成为公司推销其产品的主要手段。根据加拿大市场营销组织(Canadian Marketing Association)的统计数据: 仅1999年一年 Direct Marketing就创造了470000 个工作机会。从1999至2000,工作职位又增加了30000个。为什么Direct Marketing需要这么多Analyst呢? 举个例子, 随着商业竞争日益加剧,公司希望能最大限度的从广告中得到销售回报, 他们希望能有更多的用户来响应他们的广告。所以他们就必需要在投放广告之前做大量的市场分析工作。例如,根据自己的产品结合目标市场顾客的家庭收入,教育背景和消费趋向分析出哪些地区的住户或居民最有可能响应公司的销售广告,购买自己的产品或成为客户,从而广告只针对这些特定的客户群。这样有的放矢的筛选广告的投放市场既节省开销又提高了销售回报率。但是所有的这些分析都是基于数据库,通过数据处理,挖掘,建模得出的,其间,市场分析师的工作是必不可少的。

  2. 行业适应性强: 几乎所有的行业都会应用到数据, 所以作为一名数据/市场分析师不仅仅可以在华人传统的IT行业就业,也可以在政府,银行,零售,医药业,制造业和交通传输等领域服务。

现状与前景

  数据挖掘是适应信息社会从海量的数据库中提取信息的需要而产生的新学科。它是统计学、机器学习、数据库、模式识别、人工智能等学科的交叉。在中国各重点院校中都已经开了数据挖掘的课程或研究课题。比较著名的有中科院计算所、复旦大学、清华大学等。另外,政府机构和大型企业也开始重视这个领域。

  据IDC对欧洲和北美62家采用了商务智能技术的企业的调查分析发现,这些企业的3年平均投资回报率为401%,其中25%的企业的投资回报率超过600%。调查结果还显示,一个企业要想在复杂的环境中获得成功,高层管理者必须能够控制极其复杂的商业结构,若没有详实的事实和数据支持,是很难办到的。因此,随着数据挖掘技术的不断改进和日益成熟,它必将被更多的用户采用,使更多的管理者得到更多的商务智能。

  根据IDC(International Data Corporation)预测说2004年估计BI行业市场在140亿美元。现在,随着我国加入WTO,我国在许多领域,如金融、保险等领域将逐步对外开放,这就意味着许多企业将面临来自国际大型跨国公司的巨大竞争压力。国外发达国家各种企业采用商务智能的水平已经远远超过了我国。美国Palo Alto 管理集团公司1999年对欧洲、北美和日本375家大中型企业的商务智能技术的采用情况进行了调查。结果显示,在金融领域,商务智能技术的应用水平已经达到或接近70%,在营销领域也达到50%,并且在未来的3年中,各个应用领域对该技术的采纳水平都将提高约50%。

  现在,许多企业都把数据看成宝贵的财富,纷纷利用商务智能发现其中隐藏的信息,借此获得巨额的回报。国内暂时还没有官方关于数据挖掘行业本身的市场统计分析报告,但是国内数据挖掘在各个行业都有一定的研究。据国外专家预测,在今后的5—10年内,随着数据量的日益积累以及计算机的广泛应用,数据挖掘将在中国形成一个产业。

  众所周知,IT就业市场竞争已经相当激烈,而数据处理的核心技术---数据挖掘更是得到了前所未有的重视。数据挖掘和商业智能技术位于整个企业IT-业务构架的金字塔塔尖,目前国内数据挖掘专业的人才培养体系尚不健全,人才市场上精通数据挖掘技术、商业智能的供应量极小,而另一方面企业、政府机构和和科研单位对此类人才的潜在需求量极大,供需缺口极大。如果能将数据挖掘技术与个人已有专业知识相结合,您必将开辟职业生涯的新天地!

职业薪酬

  就目前来看,和大多IT业的职位一样,数据仓库和数据挖掘方面的人才在国内的需求工作也是低端饱和,高端紧缺,在二线成熟,高端数据仓库和数据挖掘方面的人才尤其稀少。高端数据仓库和数据挖掘人才需要熟悉多个行业,至少有3年以上大型DWH和BI经验,英语读写流利,具有项目推动能力,这样的人才年薪能达到20万以上。

职业认证

  1、SAS认证的应用行业及职业前景

SAS全球专业认证是国际上公认的数据挖掘和商业智能领域的权威认证,随着我国IT环境和应用的日渐成熟,以上两个领域将有极大的行业发展空间。获取SAS全球专业认证,为您在数据挖掘、分析方法论领域积累丰富经验奠定良好的基础,帮助您开辟职业发展的新天地。

  2、SAS认证的有效期

  目前SAS五级认证没有特定有效期,但是时间太久或版本太老的认证证书会有所贬值。

  3、五级认证的关系

  五级认证为递进式关系,即只有通过上一级考试科目才能参加下一级认证考试。

  4、SAS全球认证的考试方式

  考试为上机考试,时间2个小时,共70道客观题。

相关链接

  随着中国物流行业的整体快速发展,物流信息化建设也取得一定进展。无论在IT硬件市场、软件市场还是信息服务市场,物流行业都具有了一定的投资规模,近两年的总投资额均在20-30亿元之间。政府对现代物流业发展的积极支持、物流市场竞争的加剧等因素有力地促进了物流信息化建设的稳步发展。

  易观国际最新报告《中国物流行业信息化年度综合报告2006》中指出,中国物流业正在从传统模式向现代模式实现整体转变,现代物流模式将引导物流业信息化需求,而产生这种转变的基本动力来自市场需求。报告中的数据显示:2006-2010年,传统物流企业IT投入规模将累计超过100亿元人民币。2006-2010年,第三方物流企业IT投入规模将累计超过20亿元人民币。

  由于目前行业应用软件系统在作业层面对终端设备的硬件提出的应用要求较高,而软件与硬件的集成性普遍不理想,对应性单一,因此企业将对软件硬件设备的集成提出更高要求。

  物流行业软件系统研发将更多的考虑运筹学与数据挖掘技术,专业的服务商将更有利于帮助解决研发问题。

  物流科学的理论基础来源于运筹学,并且非常强调在繁杂的数据处理中找到关联关系(基于成本-服务水平体系),因此数据挖掘技术对于相关的软件系统显得更为重。

数据挖掘基础知识有哪些


数据挖掘这项工作十分有前景,同时在薪资方面也十分出色。下面是学习数据挖掘需要侧重的知识点。
1.统计知识
在做数据分析,统计的知识肯定是需要的, Excel、SPSS、R等是需要掌握的基本技能。如果我们做数据挖掘的话,就要重视数学知识,数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。
2.概率知识
而朴素贝叶斯算法需要概率方面的知识, SKM算法需要高等代数或者区间论方面的知识。当然,我们可以直接套模型,R、P ython这些工具有现成的算法包,可以直接套用。但如果我们想深入学习这些算法,最好去学习一些数学知识,也会让我们以后的路走得更顺畅。我们经常会用到的语言包括Python、Java、C或者C++。
3.数据挖掘的数据类型
那么可以挖掘的数据类型都有什么呢?关系数据库、数据仓库、事务数据库、空间数据库、时间序列数据库、文本数据库和多媒体数据库。
4.数据仓库
数据仓库就是通过数据清理、数据变换、数据集成、数据装入和定期数据刷新构造。

关于大数据挖掘工程师的课程,推荐CDA数据分析师的相关课程,课程内容兼顾培养解决数据挖掘流程问题的横向能力以及解决数据挖掘算法问题的纵向能力。要求学生具备从数据治理根源出发的思维,通过数字化工作方法来探查业务问题,通过近因分析、宏观根因分析等手段,再选择业务流程优化工具还是算法工具,而非“遇到问题调算法包”。点击预约免费试听课。

扫描二维码推送至手机访问。

版权声明:本文由尚恩教育网发布,如需转载请注明出处。

本文链接:https://www.shane-english.com.cn/view/79337.html

标签: 数据
分享给朋友:

“研究生数据挖掘学什么 数据挖掘的研究生方向” 的相关文章

数据科学与大数据技术 数据科学与大数据好就业吗

数据科学与大数据技术 数据科学与大数据好就业吗

数据科学与大数据技术专业是个什么东西?如何看待数据科学与大数据技术专业?数据科学与大数据技术就业前景,数据科学与大数据技术很火,这专业真那么好么?数据科学与大数据技术的就业前景和待遇怎么样?数据科学与大数据技术专业怎么样?本文导航数据科学与大数据技术专业难学吗数据科学与大数据技术专业怎么样数据科学与...

想做数据分析考什么研 数据分析就业方向

目前快做了三年的数据分析和数据挖掘工作,想要考一月在职研究生,求推荐考哪一个··,卫生统计专业背景,会初级的SAS语言,想做数据分析相关工作,研究生选什么专业的来提高数据分析能力呢?做数据分析行业考什么证书比较有含金量?文科生能否从事数据分析,市场研究?有没有可能考或者有没有需要考SAS,数据分析师...

什么是大数据专业 大数据哪个专业最好

大数据专业是做什么的?大数据专业是干什么的啊,好学吗?大数据专业主要学什么?大数据专业是个什么专业啊,干什么的?大数据科学专业学什么?大数据专业是什么?本文导航大数据专业前景怎样大数据专业能干什么所有的大数据专业都是学什么的真正的大数据专业就业前景大数据专业都需要学什么大数据哪个专业最好大数据专业前...

数据挖掘有哪些研究方向 从事数据挖掘工作有前途吗

数据挖掘包括哪些方向,数据挖掘方面还有什么研究方向吗?数据挖掘领域比较有前景的方向有哪些,数据挖掘的职业发展方向是什么啊?数据挖掘技术涉及哪些技术领域,学习数据挖掘以后就业方向是什么?本文导航数据挖掘前景如何具体有哪些数据挖掘有没有前途数据挖掘到底有前途吗从事数据挖掘工作有前途吗数据挖掘四大技术从事...

北交大数据怎么样 上海交大和北方交通大学哪个好

北交大数据怎么样 上海交大和北方交通大学哪个好

北京交通大学怎么样啊?北京交通大学好吗?北京交通大学,上海交通大学哪个好。本文导航北京交通大学介绍2019北京交通大学好吗上海交大和北方交通大学哪个好北京交通大学介绍2019理科实验班是学校委托理学院培养的一个专业,学习一段时间后可以在全校再次选择自己喜欢的专业到相应的学院进行学习。理科实验班注重理...

数据库有哪些方向 数据库技术的发展有哪五个阶段

数据库有哪些方向 数据库技术的发展有哪五个阶段

数据库都有哪些方向,2、数据库技术可以应用领域有哪些方向,关于大学计算机专业数据库方向,数据库技术的四个方向,数据库应用方面未来的发展方向有哪些,数据库技术的应用领域有哪些。本文导航数据库课程是学什么的数据库有哪些技术点大学计算机专业课程表数据库发展的三个阶段数据库技术的发展有哪五个阶段新型数据库技...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。