众所周知，非结构化数据很难管理。但是，当组织的非结构化数据资产超过PB阈值时，控制数据集将带来一系列全新的挑战。大多数传统的网络附加存储(NAS)系统都难以管理100 TB的非结构化数据集，而管理多PB数据超出了他们的能力范围。当前网络附加存储(NAS)系统的局限性导致许多IT专业人员认为唯一的答案将是对象存储系统。问题在于，尽管对象存储可以扩展以满足容量需求，但在性能方面可能不足。IT专业人员在...
如今，认知学习的应用比以往更为普遍。通常意义上讲，认知学习与认知计算就是涉及AI技术与信号处理的操作过程或技术平台。AI是刺激商业发展的一颗新星，取代了以往的资本和劳动力的投入。它同样可以发挥潜力，产生新生势力，通过改变人们的工作方式、提升人的角色地位来促进商业的发展。并且越来越多的领域也正为AI所折服，因为它可以很好地处理数据、寻找数据模式并以惊人的速度学习识别各种行为。任何AI中的基础学习过程...
说到数据分析工具，我们总是有疑问。那么多的数据分析工具，它们之间究竟有什么区别?哪个更好?我应该学习哪一个?尽管这是一个老生常谈的话题，但它确实很重要，我一直在努力寻找这个终极问题的答案。如果你到网上搜索这个领域的相关信息的话，很难找到公正的看法。因为特定数据分析工具的评估者可能会从不同的角度出发，并带有一些个人感受。今天，让我们撇开这些个人感受。我会尝试跟大家一起客观地谈谈我对市场上数据分析工具...
典型互联网大数据平台架构首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用开源大数据产品或者自己开发相关大数据组件。你可以看到，大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展示。数据采集将应用程序产生的数据和日志等同...
如何Load TXT 到HDInsight Hive table记得以前做过一个小项目，需要把客户整理的TXT导入到数据库，然后结合客户的需求统计分析特定条件的报表，比如表的schema为：time, name, meeting, level。需求统计特定的时间有多少人开过会等等。迁移txt到数据库的方法有很多，比如：SSIS或者开发entity framework，读txt文件内容，然后写到数据...
当今的商业决策对基于天的数据依赖越来越强烈。然而，正确而连贯的数据流对商业用户做出快速、灵活的决策起到决定性的作用。建立正确的数据流和数据结构才能保证最好的结果。这个过程叫做数据建模。为了避免认为错误并且加快进度，我们需要使用专业的软件来帮助我们建立数据逻辑模型和物理模型、生成DDL，并且能够生成报告来描述这个模型，同时分享给其他伙伴。本文列出的工具都是从Data to Value公司咨询顾问处精...
理解数据是控制任何企业的先决条件。但只有当这些知识能够被分享和传播时，理解才是有用的。有效的数据建模应该是任何企业架构师的首要关注点。在我的上一篇文章中，我认为理解一个企业的数据是指导一个企业的核心。但理解只是问题的一半。另一半是能够记录这种理解并与他人分享。如果没有对数据的共同理解，就谈不上跨系统或组织的共享数据。传统上，这是通过使用数据字典来完成的--这些文件旨在解释数据结构中每个字段的内容和...
1 B树在介绍B+树之前， 先简单的介绍一下B树，这两种数据结构既有相似之处，也有他们的区别，最后，我们也会对比一下这两种数据结构的区别。1.1 B树概念B树也称B-树,它是一颗多路平衡查找树。二叉树我想大家都不陌生，其实，B树和后面讲到的B+树也是从最简单的二叉树变换而来的，并没有什么神秘的地方，下面我们来看看B树的定义。每个节点最多有m-1个关键字(可以存有的键值对)。根节点最少可以只有1个关...
Ignite集群搭建完成之后，应用就可以接入集群进行各种操作了，但是默认的集群，没有安全保护机制，任何应用、支持JDBC的客户端，只要知道集群节点的IP地址，都可以接入集群，这造成了一定的安全风险，这对于持有敏感数据的用户，显然是无法接受的。Ignite本身有一个简单的安全模块，提供了一个基于用户名/密码的认证机制，但是在实际业务场景中，需求往往更复杂，本文以白名单认证方式为例，讲述如何通过自定义...
