-
[bigdata-003]在cdh 5.7下 用sqoop1将mysql数据库数据导入到hdfs
所属栏目:[大数据] 日期:2021-01-11 热度:139
1. 假设,myql安装在bigdata2上。我们要在bigdata3上执行sqoop1。 2. 首先,要在mysql上创建一个'b3'@'%'的账户,这个账户限定只能从外部ip地址访问mysql。 3. 在bigdata3上做如下操作 http://www.cloudera.com/documentation/enterprise/5-7-x/topics/cdh[详细]
-
挖掘微信Web版通信的全过程
所属栏目:[大数据] 日期:2021-01-11 热度:180
昨天是周末,在家闲得无聊,于是去weiphone.com逛了一圈,偶然发现有人发了一帖叫《微信 for Mac》,这勾起了我的好奇心,国内做Mac开发的人确实很少,对于那些能够独自开发一些Mac第三方工具的开发者我都表示很敬畏,于是点进去看了一个究竟,如果你们好[详细]
-
[bigdata-004]CDH Impala的应用场景
所属栏目:[大数据] 日期:2021-01-11 热度:102
可以将Impala视为改进版的Hive。 两者都使用SQL语言,且Imapal的SQL是Hive SQL的子集。 Hive慢,Impala快,测试的结果是,常规问题上,Impala比Hive快十倍。有了Impala,Hive就可以不用了。 Impala没有索引。这是一个非常显著的特征,没有索引,就不能快速[详细]
-
LightOJ1214 Large Division (大数求余,同余定理)
所属栏目:[大数据] 日期:2021-01-11 热度:119
Given two integers,a and b,you should check whether a is divisible by b or not. We know that an integer a is divisible by an integer b if and only if there exists an integer c such that a = b * c. Input Input starts with an integer T (≤[详细]
-
汇编语言之数据处理的2个基本问题
所属栏目:[大数据] 日期:2021-01-11 热度:207
副标题#e# ?? 1、bx、si、di和bp Bx、si和di这3个寄存器我们已经学过了,现在进行一下总结,并学一下bp。 1:在8086CPU中,只有这4个寄存器可以用在[…]中来进行内存单元的寻址。比如,下面的指令都是正确 的: Mov ax,[bx] Mov ax,[bx+si] Mov ax,[bx+di[详细]
-
大数进制转换
所属栏目:[大数据] 日期:2021-01-11 热度:201
一般的数字进制转换大家都很熟悉,先转换为十进制数字,再进行 除 n 取余,这种情况适用于操作数不大的情况(不大于最大的基本数据类型(long long)),但是如果操作数上百位以上甚至上千上万该怎么办呢,显然,传统的方法肯定不行, 我们可以举个例子:[详细]
-
浅谈ODS与DW的区别-数据项目实战总结
所属栏目:[大数据] 日期:2021-01-11 热度:197
副标题#e# 浅谈ODS与DW的区别-数据项目实战总结 ? ODS 全称operation data store 或者 operational data store,中文意思是操作型数据存储(数据被操作产生的,例如电商交易数据 (客户买东西订单)? 行业订单 工单数据(客户投诉数据) ),或者有的地方也[详细]
-
【BZOJ 4542】大数 【莫队】
所属栏目:[大数据] 日期:2021-01-11 热度:179
思路:当P!=2或5时,显然10^x%P!=0 把后缀模P的值搞出来 于是问题就便成询问区间内%P为x的分别有多少个 这个再套一个莫队就可以了。 我的代码压行比较丑,我放std的代码。 #includecmath #includecstdio #includecstring #includeiostream #includealgori[详细]
-
解读一个新IBM的平台战略:云、大数据分析与人工智能
所属栏目:[大数据] 日期:2021-01-11 热度:103
副标题#e# (上图为IBM董事长及CEO Ginni Rometty) 现在,一个新IBM正在浮出水面。在IBM的2015年财报上写道:“今天的IBM已经不仅是一家‘硬件、软件与服务’公司,而转型成为一家认知解决方案与云平台公司。”在公司100多年的历史上,IBM第一次称自己是一[详细]
-
混合云下商机四伏,IT生产力要如何挖掘?
所属栏目:[大数据] 日期:2021-01-11 热度:147
副标题#e# 近年来,随着个人云盘的相继叫停,“云”再一次跃入大众视野。随时可用、不会丢失,这样一个个行走的数据库,显然曾为我们的生活带来了诸多便利。事实上,云的影响力却不止于此。对于企业而言,云正在成为驱动业务发展的关键生产力。 不管是普普[详细]
-
51nod 1005 大数加法
所属栏目:[大数据] 日期:2021-01-11 热度:138
#include bits/stdc++.husing namespace std;string sum(string s1,string s2){int i,laz=0;string ret=string(10005,'0');for(i=10005-1;i=0;i--){ret[i]=s1[i]+s2[i]-'0'+laz;if(ret[i]'9'){ret[i]-=10;laz=1;}elselaz=0;}return ret;}string opp(string[详细]
-
自学的道路上自己挖掘、可提供自学的网站与大家一起分享
所属栏目:[大数据] 日期:2021-01-11 热度:118
我这边分享的网站也只是部分,要是你有其他好的学习网站,欢迎留言在我的评论里哦,分享是美德~ demo小样的相关网站: http://www.eoeandroid.com/forum-23-1.html? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?eoe安卓开发 http://www.itlanbao.com/codes.aspx#1[详细]
-
如何用大数据实现用户价值的最大化
所属栏目:[大数据] 日期:2021-01-02 热度:95
副标题#e# 来源:易观智库 1 大数据中的用户分析 首先,我们为什么要去做用户分析?面临繁琐的数据之中,需要做什么分析?怎么去提取数据?在建立用户画像模型的过程中,区分用户特征的关键点是什么?应该从哪些方面去寻找用户的特征?其实这个问题扩大化以[详细]
-
算法提高 大数加法
所属栏目:[大数据] 日期:2021-01-02 热度:130
问题描述 输入两个正整数a,b,输出a+b的值。 输入格式 两行,第一行a,第二行b。a和b的长度均小于1000位。 输出格式 一行,a+b的值。 样例输入 4 2 样例输出 6 #includestdio.h#includestring.hvoid fun(int n,int sum[]){int temp,i;for(i=0;in;i++){temp[详细]
-
[bigdata-031] python3+selenium 做抓取
所属栏目:[大数据] 日期:2021-01-02 热度:66
1. 安装 1.1 pip3 install -U selenium 1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩,然后放到/usr/bin目录 2. 抓取豆瓣 #!/usr/bin/env python3#!-*- coding:utf-8 -*-impor[详细]
-
logminer挖掘
所属栏目:[大数据] 日期:2021-01-02 热度:83
1.???? Logminer介绍 LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得Oracle 重做日志文件(归档日志文件)中的具体内容,LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图组成,它作为Oracle数据库的[详细]
-
[bigdata-005] 用docker搭建oracle 11g并提供python3 开发
所属栏目:[大数据] 日期:2021-01-02 热度:97
参考资料 http://www.bubuko.com/infodetail-401514.html 1. docker上的oracle 11g https://hub.docker.com/r/alexeiled/docker-oracle-xe-11g/ 安装和启动命令: 1.1 docker pull alexeiled/docker-oracle-xe-11g 1.2 docker run --name dck-oracle-11g -[详细]
-
[bigdata-006] 工作流 tez和oozie
所属栏目:[大数据] 日期:2021-01-02 热度:157
1.? 基本状况 Tez是Hortonworks开发的。 董西成的分析 http://dongxicheng.org/mapreduce-nextgen/apache-tez/ http://zh.hortonworks.com/blog/introducing-tez-faster-hadoop-processing/ tez运行在Yarn上的,DAG工作流,底层设计,对Map和Reduce进一步[详细]
-
HDoj1047Integer Inquiry(大数连续相加)
所属栏目:[大数据] 日期:2021-01-02 热度:158
Integer Inquiry Time Limit: 2000/1000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 19438????Accepted Submission(s): 5087 Problem Description One of the first users of BIT's new supercomputer was Chip[详细]
-
读取csv数据并保存成图像
所属栏目:[大数据] 日期:2021-01-02 热度:119
int main(int argc,char* argv[]){ifstream file("******.csv");string value;int i = 0;int j = 0;while (file.good()){getline(file,value,'n');//cout string(value,value.length()) endl;if (i 0){value.erase(0,2);value.erase(value.length() - 9);[详细]
-
几种大数阶乘算法效率比较(Java)
所属栏目:[大数据] 日期:2021-01-02 热度:207
完整代码: package bigdatamul;import java.math.BigInteger;/** * 大数阶乘 * * @Description: TODO(大数阶乘) * * @author yzy * @date 2016-12-20 上午9:31:14 * */public class Test { public static void main(String[] args) { //单位:ms //fun1(5[详细]
-
报告一:知识工程与大数据分析
所属栏目:[大数据] 日期:2021-01-02 热度:124
报告一:知识工程与大数据分析 报告人:漆桂林博士,东南大学教授 主要内容:知识工程是人工智能的重要分支之一,知识的获取和基于知识的推理能力是人类高级智能的体现。知识工程涉及到机器学习、知识表示与推理、自然语言处理和数据存储等技术。本报告将[详细]
-
数据处理之one-hot
所属栏目:[大数据] 日期:2021-01-01 热度:111
分类方法,通常需要把数据的各个属性转换为一个向量表示,这样每条数据的特征就是一个向量,向量上的每个维度就表示了一个特征属性。 但是如果要转换的数据包含了3种属性,比如身高,体重,年龄。A是女,168cm,70kg,30岁;B是男,180cm,90kg,20岁,那么[详细]
-
米斯特白帽培训讲义 挖掘篇 厂商寻找
所属栏目:[大数据] 日期:2021-01-01 热度:98
米斯特白帽培训讲义 挖掘篇 厂商寻找 讲师:gh0stkey 整理:飞龙 协议:CC BY-NC-SA 4.0 厂商是什么 厂商可以是一个网站(Web 应用),或者一段程序(PC、移动应用)。从白帽子的角度来说,两个都是厂商,都可以挖掘。 基于漏洞平台的寻找 现在国内有三大[详细]
-
七牛数据处理再添新兵——图片瘦身
所属栏目:[大数据] 日期:2021-01-01 热度:188
副标题#e# 我们现在已经很难想象,图片的出现,竟然只是作为分割文字和缓解疲劳的工具。 随着智能手机的普及,以及像 in、nice 这样以分享图片为主的应用的流行,人们记录生活、分享感悟的方式不再局限于文字,而是逐渐被拍照取代,拍照也不需要那么刻意为[详细]