Hadoop 是一个分布式系统基础架构，在大数据领域被广泛的使用，它将大数据处理引擎尽可能的靠近存储，Hadoop 最核心的设计就是 HDFS 和 MapReduce，HDFS 为海量的数据提供了存储，MapReduce 为海量的数据提供了计算。这篇文章主要就是介绍一下如何搭建一个 Hadoop 运行环境。我们使用 Linux 操作系统来搭建环境，下面的信息是用来准备搭建 Hadoop 环境的电脑...
Pandas在数据分析中的重要作用不必多言。不管是Confluence上的一篇文章、GitHub中Readme文档，抑或一篇科学论文，每个项目都会以报告之类来收尾。使用Pandas，就不必再将数据帧(DataFrame)里的值逐一复制到另一个软件中，它的格式化函数能够将数据帧转换成多种格式。无论是学生、数据科学家还是博士研究人员，这些技巧都一定能帮到你。图源：medium.com下载Jupyter...
跳跃表暂时先不说跳跃表是什么，在Java里面有一个Map叫：ConcurrentSkipListMap，通过对HBase的源码跟踪，我们发现这些地方使用了它：简单的列了几个，但是观察这几个类所在的模块就可以发现，HBase从客户端，到请求处理，到元数据再到文件存储贯穿HBase的整个生命周期中的各个重要环节，都能看到它的身影，Map那么多，为何偏偏HBase选择了这个？接下来我们仔细分析下。在算法...
让我们想象，你有一个非常大的数据集，以至于读入内存之后会导致溢出，但是你想将它的一部分用Pandas进行处理，如果你在某个时间点只是想加载这个数据集的一部分，可以使用分块方法。如果把数据集分为若干部分之后，分别加载进来，最终还是会很慢。此时的解决方法，就是创建一个可供搜索的索引，使用SQLite就能轻松解决。第一个方法：分块来设想一个具体的示例：你要参加某个竞选，为此，你找到了一个CSV文件，里面...
一、什么是数据挖掘数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。二、数据挖掘相关的10个问题NO.1 Data Mining和统计分析有什么不同?硬要去区分Data Minin...
大数据破案、视频抓逃、指尖办事……在人工智能、物联网、云计算等信息化技术迅速发展的当下，公安大数据已经成为构成公安战斗力的重要因素。利用大数据力量推动公安工作转型升级，已成为各级公安机关顺应发展要求。围绕公安大数据，搭建智能化平台，提高数据安全，培养高素质人才，也将是未来全面提升公安社会治理能力，服务经济社会发展的关键。建立智能大数据平台搭建智能大数据平台，是以视频图像大数据技术为核心，以视频监控...
在系统设计中，会用到消息中间件来做服务异步化，系统解耦，或者是做流量削峰，常用的消息中间件有rabbitMq，activeMq以及阿里的RocketMq等等，都各自有各自的优势，但是就吞吐量来说，kafka是其中的佼佼者。在单机情况下，网友做的对比如下：性能对比为什么kafka会这么快呢?发布订阅模式一个普通的发布订阅模型如下图所示：发布订阅模式以kafka为例，生产者产生消息，并将消息Push到...
大数据的应用正在发生变化，并且可能会改变人们学习新语言的方式。事实上，语言是人们所寻求的信息中最复杂却又最受追捧的一种。因为沟通和交流是如此重要，以至于人们积极尝试采用不同的方法来学习一门新语言。而利用大数据访问和处理大量信息的能力，语言可以变得更加易于学习和掌握。什么是大数据?大数据旨在寻求研究方法，并在结构上从更大或更复杂的数据集中获取信息，或快速处理由传统数据处理程序和软件处理的数据集。大数...
我国提出雪亮工程、平安城市、智慧城市项目，以扩大视频监控覆盖面、推动全国联网工作并实现海量视频信息智能化应用。目前项目建设已卓有成效，监控设备产生的数据量也在飞速增长，据智东西统计，全国各行各业采用的监控摄像头约 2.25 亿只，一天产生的数据量约 50PB，是上千个国际级图书馆的数据量级。可以想见，这些数据量远远超出了传统数据处理管理软件在可接受时间内的处理能力，因此须使用“在数十、数百甚至数千...
当今时代，数据已经成为我们经营业务的核心手段。事实上，据全球市场情报公司IDC预计，到2020年，全球花费在数据分析项目上的支出将达到2743亿美元。然而，其中的大部分钱并没有得到合理地利用。据高德纳咨询公司(Gartner)的分析师尼克•赫尔德克的估算，高达85%的大数据项目是失败的。问题的重点在于，出现在电脑屏幕上的数字具有一种特殊的权威感。一旦数据通过大量的数据库被提取出来，并通过复杂的分析...
