评估 权衡你正在考虑的技术、产品和项目的利弊。

数据科学与机器学习与ai:它们如何一起工作

数据科学、机器学习和人工智能是分析和其他企业应用的核心。以下是它们各自所涉及的内容,以及如何将它们结合起来为企业带来好处。

今天的组织充斥着数据。就在十年前,十亿字节的数据看起来仍然是一个很大的数量。然而,现在一些大型组织管理的级别超过了zettabyte。为了了解这是多少数据,如果你的典型笔记本电脑或台式电脑内部有一个1tb的硬盘驱动器,一个zettabyte等于10亿个硬盘驱动器。

组织如何能指望从这么多数据中获得商业价值呢?他们需要能够分析它,并在几乎无限的大海捞针中找出有价值的知识。这就是数据科学的结合,机器学习人工智能已经变得非常有用——但你不需要任何接近泽塔字节的数据就能让这三件事变得相关。

一旦降级到学术界和研究的宇宙角落或它的不良一侧数据管理,他们共同出现为各种行业各类组织的关键技术主题。但是,数据科学与机器学习与AI和各自涉及的东西仍然困惑。了解这些变革概念的性质和目的将指出如何最好地应用他们以满足按下业务需求。

让我们看一下,加上它们之间的差异以及如何一起使用它们。

数据科学

虽然数据从一开始就一直是计算的核心,但直到几十年后才出现一个专门处理数据分析的独立领域。数据科学关注的不是数据管理的技术方面,而是统计方法、科学方法和先进的分析技术它将数据视为离散的资源,而不管它是如何存储或操作的。

在其核心,数据科学旨在给定数据的有用见解,因为商业管理人员和其他洞察的其他潜在用户的特定要求。有兴趣购买的客户是什么?业务如何与特定产品或地理区域进行?Covid-19大流行紧张或越来越多的资源吗?这些是可以使用数学,统计和数据分析来回答的问题这是数据科学过程的一部分

传统上,组织取决于商业智能系统从他们不断增长的数据池中获得见解。然而,BI系统部分依赖于人类,以发现电子表格,仪表板,图表或图表中的趋势。他们也受到至少四个vs的挑战大数据:体积、速度、多样性和准确性。随着组织以不同的格式和不同的数据质量级别从各种各样的数据源中以越来越多的数量存储数据并以越来越快的速度收集数据,BI所基于的传统数据仓库和业务分析方法已经不够用了。

相比之下,亚马逊(Amazon)、谷歌、Netflix和Spotify等前沿公司的经验表明,应用数据科学的基本方面可以帮助发现更深刻的见解,从而提供相对于商业对手的显著竞争优势。他们和其他组织——银行、保险公司、零售商、制造商等等——使用数据科学来发现数据集中的模式,识别潜在的异常交易,发现与客户错失的机会,并进行创造预测模型未来的行为和事件。

同样,医疗保健提供者依赖数据科学来帮助诊断医疗条件并改善患者护理,而政府机构使用它,例如提供潜在的危及生命情况的早期通知,并确保关键系统和基础设施的安全和安全性。

数据科学工作主要由数据科学家.虽然没有对他们的职位描述普遍共识,但这是最小一套有效的数据科学家必须具备的技能

  • 坚定地掌握统计和概率;
  • 了解分析数据的各种算法方法;
  • 能够使用各种工具、技术和技术来探索大型数据集,以获得所需的分析结果;和
  • 数据可视化功能,为派生的见解提供可见性。

作为数据科学团队的一部分,数据科学家经常使用数据工程师为了方便从多个源系统收集和处理数据,以及了解不断变化的业务需求的业务分析人员、了解不断变化的数据集特征的数据分析人员和能够帮助放置由数据科学应用投入生产。

越来越多地,这些模型正在被要求做的事情不仅仅是提供了进入当前数据状态的洞察的快照。数据科学家可以培训算法,以了解样本数据的模式,相关性和其他特征,然后分析他们之前没有看到的完整数据集。通过这种方式,数据科学为人工智能的增长导致了人为智慧,特别是使用机器学习来支持人工智能的目标。

机器学习

智慧的标志之一是能够从经验中学习。如果机器能够识别数据中的模式,那么它们就可以使用这些模式来生成对新数据的洞察或预测。这是机器学习背后的基本理念。

机器学习依赖于可以将从良好数据示例编码为模型的算法。该模型可用于广泛的应用程序,例如将数据分类为类别(“是该图片是CAT?”),预测给定先前识别的模式的某些数据的值(“此交易是欺诈性的概率是什么??“),并在数据集中识别组(”我可以推荐哪些其他产品给那些购买此产品的人?“)。

机器学习的核心概念体现在分类,回归和聚类的思想中。一种广泛的机器学习算法已创建以跨不同数据集执行这些任务。可用的算法包括决策树,支持向量机,K-Meanse聚类,K-Meary邻居,Naïve贝叶斯分类器,随机林,高斯混合模型,线性回归,逻辑回归,主要成分分析和许多其他分析。数据科学家通常构建并运行算法;一些数据科学团队现在还包括机器学习工程师,他可以帮助代码和部署生成的模型。

机器学习过程涉及不同类型的学习数据科学家和分析师提供了不同程度的指导。主要的选择是:

  • 监督学习,它从人类标记的培训数据开始,有助于指导算法在学习什么;
  • 无监督学习,一种方法,其中剩余算法使用未标记的培训数据发现信息;或者
  • 强化学习,这让算法通过试验和错误学习与初始指令和持续监督数据科学家。

最近,没有一种算法方法能像“使用”一样带来如此多的兴奋和希望人工神经网络.与它们的启发的生物系统,神经网络包括可以采用输入数据的神经元,将权重和偏置调整应用于输入,然后将所得输出馈送到另外的神经元。通过这些神经元之间的复杂系列互连和相互作用,神经网络可以随时间学习如何以提供所需结果的方式调整权重和偏差。

在20世纪50年代开始的只是作为Perceptron算法中的单层神经元的内容已经发展成为一种更复杂的方法 - 已知深度学习——利用多层来产生微妙而复杂的结果。这些多层神经网络显示出了从大型数据集学习的非凡能力,并使面部识别、多语言等用途成为可能对话系统,自治车辆和先进的预测分析。

在谷歌、Netflix、亚马逊(Amazon)、微软(Microsoft)和IBM等拥有大量数据的公司的大力推动下,这个曾经看似研究假设的概念迅速成为可能,并在21世纪初真正占据了主导地位。大数据的可用性、数据科学的能力和机器学习的力量不仅为当今的组织挑战提供了答案,还可能有助于解决让人工智能完全成为现实这一长期挑战。

人工智能

AI是一个比计算本身更老的想法:是否有可能创建具有人类认知能力的机器?这个想法长期以来激发了院士,研究人员和科幻作家,它是在20世纪中期的实际追求世纪。1950年,计算先锋和众所周知的代码饼干Alan Tures提出了机器智能的基本测试,这被称为图灵测试.术语人工智能是1956年在达特茅斯举行的人工智能大会的提案中提出的。

人工智能仍然是一个梦想,至少是几十年前许多人设想的那种形式。拥有人类所有认知和智力能力的机器的概念被称为人工综合情报(AGI),或者,一般AI。目前还没有人建立这样的系统,而且AGI的发展可能还需要几十年,如果它完全可行的话。

然而,我们已经能够处理狭义人工智能任务.我的研究公司Cognilytica定义了七个模式专注于认识,预测或规划的特定需求的AI。例如,它们包括培训机器:

  • 准确识别图像、物体等元素非组织性数据
  • 与人有意义的对话互动;
  • 对功率预测分析系统使用派生洞察力;
  • 大数据集中的斑点模式和异常;
  • 为个人创建详细的个人资料hyperpersonalization使用
  • 电源自治系统,具有最小或没有人类参与;和
  • 解决场景模拟和其他具有挑战性的目标驱动问题。

尽管没有解决,但这些狭窄的用例中的每一个都提供了显着的能力和价值AGI的主要目标.机器学习的发展直接导致了这些狭窄的人工智能应用的发展。由于数据科学让机器学习变得实用,它也帮助它们成为现实。

数据科学、机器学习和人工智能之间的区别

虽然数据科学、机器学习和人工智能在分析应用程序和其他用例中具有亲和力并相互支持,但它们的概念、目标和方法在很大程度上是不同的。为了进一步区分它们,请考虑它们的一些关键属性列表。

数据科学:

  • 专注于从数据干草堆中提取信息针来帮助决策和规划;
  • 适用于通过描述性,预测和规定的分析应用程序的广泛的业务问题和问题;
  • 通过非常大的数据集处理小规模的数据;和
  • 使用统计、数学、数据争吵、大数据分析、机器学习等多种方法来回答分析问题。

机器学习:

  • 专注于为算法和系统提供学习的方法,以便从数据经验中学习,并使用这种体验来改善时间;
  • 通过检查数据集而不是显式编程来学习,这使得使用数据科学方法,技术和工具是关键资产;
  • 可以通过监督,无人监督或加强学习方法来完成;和
  • 支持人工智能应用,尤其是处理特定任务的窄AI应用程序。

人工智能:

  • 专注于给予与人类类似的机器认知和智力功能;
  • 包含一系列智能概念,包括感知、计划和预测要素;
  • 能够在特定任务和工作流程中增强或替换人类;和
  • 目前没有地址人类智力的关键方面,例如致致通知,将知识从一个上下文应用于另一个语境,适应改变和展示感知和意识。
数据科学、机器学习和人工智能的关键属性
这些是数据科学、机器学习和人工智能的一些核心属性。

如何组合数据科学,机器学习和AI

数据科学本身的力量是巨大的。将它与机器学习相结合,对于从不断增长的数据池中产生见解,会增加更多的潜在价值。结合使用,它们还可以推动各种狭窄的AI应用,并最终解决普通AI的挑战。

更具体地说,以下是组织如何将数据科学,机器学习和AI结合到有效效果的一些示例:

  • 基于不断变化的数据集的分析,预测客户行为、业务趋势和事件的预测性分析应用程序;
  • 能够与客户、用户、患者和其他个人进行高度互动的人工智能对话系统;
  • 异常检测系统由机器学习和人工智能驱动,能够响应不断演变的威胁和功率自适应网络安全和欺诈识别系统;和
  • 超个性化系统,支持定向广告、产品推荐、财务指导和医疗保健等为客户提供个性化服务

虽然数据科学,机器学习和AI是单独提供强大功能的独立概念,但在一起使用它们正在转换我们管理组织和业务运营的方式 - 以及我们如何生活,工作和与我们周围的世界互动。

深入挖掘高级分析软件

搜索数据管理
搜索AWS.
搜索内容管理
搜索甲骨文
搜索树液
搜索SQL.服务器
关闭