最新消息:非无江海志,潇洒送日月

Big Data

数据库顶级会议——ACM VLDB(PVLDB)会议介绍

江海志 3年前 (2016-02-07) 5904浏览 0评论

VLDB和另外两大数据库会议SIGMOD、ICDE构成了数据库领域的三个顶级会议。VLDB (Very Large Data Base) 是数据库研究人员,供应商,参与者,应用开发者,以及用户一年一度的主要国际论坛。VLDB国际会议于1975在美国的弗雷明汉马 (Framingham MA) 成立,第一届VLDB就吸引了近100篇文章和150多个参与者,取得了巨大的成功。随着时...

RDD:基于内存的集群计算容错抽象(Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing)

江海志 3年前 (2016-01-15) 3422浏览 0评论

该论文来自Berkeley实验室,英文标题为:Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译,我是基于科学网翻译基础上进行优化、修改、补充,这篇译文翻译得很不错。在此基础上,我增加了来自英文原文的图和表格数据,以及译文中缺少的未翻...

Ubuntu下使用Spark Streaming处理来自FlumeNG的流数据基本方法

江海志 3年前 (2015-11-17) 3075浏览 0评论

SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统,可以对多种数据源(如Kdfka、Flume、Twitter、Zero和TCP 套接字)进行类似map、reduce、join、window等复杂操作,并将结果保存到外部文件系统、数据库或应用到实时仪表盘。   Spark Streaming流式处理系统特点有:  将流式计算分解成一系列...

Linux下基于Hadoop的Spark1.2单机安装

江海志 3年前 (2015-11-15) 2945浏览 0评论

一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root Hadoop:Hadoop2.6,Hadoop2.6的单机安装请见:http://www.cnblogs.com/zouzhongfan/p/4309405.htmlHive:Hive0.13,Hive0.13的安装请见:http...

Ubuntu下基于hadoop安装Spark开发环境

江海志 3年前 (2015-11-15) 2533浏览 0评论

Ubuntu 64基本环境配置 安装JDK,下载jdk-8u45-linux-x64.tar.gz,解压到/opt/jdk1.8.0_45            下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 安装scala,下载scala-2.11.6....

Hadoop2.6在Linux下单机安装教程

江海志 3年前 (2015-11-10) 2671浏览

一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root 二,安装JDK 安装JDK1.6或者以上版本。这里安装jdk1.6.0_45。 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1...

《Hadoop基础教程》之初识Hadoop

江海志 3年前 (2015-09-24) 2171浏览 0评论

Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史、核心技术和应用场景有了初步了解。 Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch...

谷歌MapReduce简单介绍入门教程

江海志 3年前 (2015-09-18) 2751浏览 0评论

江湖传说永流传:谷歌技术有”三宝”,GFS、MapReduce和大表(BigTable)! 谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议,在计算机学会推荐会议里属于A类。SOSP在单数年举办,而OSDI...