-
让你在10分钟内掌握如何用Python将数据批量的插入到数据库
所属栏目：[大数据] 日期：2021-05-27 热度：122
副标题#e# 本文基于python, 使用pandas, pymysql等三方库实现了向数据库中高效批量插入数据，一方面提供被网上很多瞎转载的答案给坑蒙了的人(因为我也是)，一方面自己也做个笔记，以后方便查阅 需求原因 最近在处理一个需求，有关批量往数据库插入数据的，[详细]
-
Spark日臻完善之小文件是否需要合并?
所属栏目：[大数据] 日期：2021-05-27 热度：124
我们知道，大部分Spark计算都是在内存中完成的，所以Spark的瓶颈一般来自于集群(standalone, yarn, mesos, k8s)的资源紧张，CPU，网络带宽，内存。Spark的性能，想要它快，就得充分利用好系统资源，尤其是内存和CPU。有时候我们也需要做一些优化调整来减少[详细]
-
5个可以帮助Pandas进行数据预解决的可视化图表
所属栏目：[大数据] 日期：2021-05-27 热度：185
数据科学和机器学习项目的结构化方法从项目目标开始。同一组数据点可以推断出一些有意义的信息。基于我们所寻找的，我们需要关注数据的另一个方面。一旦我们明确了目标，我们就应该开始考虑我们需要的数据点。这将使我们能够专注于最相关的信息集，而忽略[详细]
-
大数据在疫情期间对货运运营商的安全不可估量
所属栏目：[大数据] 日期：2021-05-27 热度：89
大数据对于避免许多危机非常重要。采用大数据应对冠状病毒疫情危机是一个很好的例子。越来越多的国家和组织正在使用大数据来促进社交距离，加强联系追踪并找到新的治疗方法。 在这场危机期间，某些行业比其他行业更依赖大数据来保障安全。这些包括货运运营[详细]
-
社交大数据如何助力社会风险问题？
所属栏目：[大数据] 日期：2021-05-27 热度：84
副标题#e# 在网络空间治理中运用社交大数据 当今社会，社交媒体已经成为用户内容获取与危机风险传播的主要渠道。根据艾瑞咨询发布的《2019年中国移动社交行业研究报告》，我国移动社交媒体用户规模预计2020年将达到8.2亿。社交媒体的传播生态越来越呈现出全[详细]
-
粉碎二八法则！每个数据科学家都得会一点SparkMagic
所属栏目：[大数据] 日期：2021-05-27 热度：172
著名的帕累托法则，即80/20定律，告诉我们：原因和结果、投入和产出、努力和报酬之间存在着无法解释的不平衡。即使是21世纪最具吸引力的工作，数据科学依然逃不脱这一定律。 商业数据科学家80%的时间都花在查找、清洗和准备数据上，这是数据科学家工作中效[详细]
-
大数据和物联网是如何相辅相成的？
所属栏目：[大数据] 日期：2021-05-27 热度：184
物联网传感器持续接收来自大量连接的异构设备的数据。随着联网设备数量的增加，物联网系统需要具有可伸缩性，以适应数据的流入。分析系统处理这些数据并提供有价值的报告，这将使企业具有竞争优势。由于数据是基于其类型挖掘的，因此必须对数据进行分岔以[详细]
-
数据科学家vs数据分析师，到底有啥差异？
所属栏目：[大数据] 日期：2021-05-27 热度：99
副标题#e# 数据科学和机器学习两个领域很容易混淆，从职责描述上还是大家的普遍印象里，这两个职位都差不多。相较之下，数据科学和数据分析这两个职位更容易区分。它们虽有关键差别，但也有相似之处。 有人会说，要成为一名数据科学家，要先从数据分析的工[详细]
-
【未发】大数据分析，Hadoop够用吗？Facebook数据专家说No
所属栏目：[大数据] 日期：2021-05-27 热度：159
副标题#e# 来自：?InfoQ 链接：http://www.infoq.com/cn/news/2013/12/facebook-hadoop 随着大数据的发展和应用，Hadoop框架受到越来越多的关注和应用。Facebook分析主管Ken Rudin表示，不要小看关系型数据库技术的价值。他认为，Hadoop可能是“大数据”运[详细]
-
POJ 3982 序列（大数）
所属栏目：[大数据] 日期：2021-05-27 热度：113
序列 题目链接： http://poj.org/problem?id=3982 解题思路： 大数。 AC代码： import java.math.BigInteger;import java.util.Arrays;import java.util.Scanner;public class Main{ public static void main(String args[]){ Scanner sca = new Scanner(S[详细]
-
IBM在华正式上线 大数据分析业务
所属栏目：[大数据] 日期：2021-05-27 热度：107
点击上方蓝色字体关注。 您还可以搜索公众号“D1net”选择关注D1net旗下的各领域（云计算，数据中心，大数据，CIO，企业协作，网络数通，信息安全，企业移动应用，系统集成，服务器，存储，呼叫中心，视频会议，视频监控等）的子公众号。 ======= IBM(国际[详细]
-
bigdata——HBase+zookeeper+Hadoop集群构筑 之 Hadoop YARN集群
所属栏目：[大数据] 日期：2021-05-27 热度：134
副标题#e# 最近项目调查闲下来了，有时间让大脑来整体之前做过的调查，为了便于基于存档，遂将其记录下来，希望对后来者有所帮助。 背景 为了了解Hbase集群下数据的查询以及安全性方面的性能数据，需要搭建HBase集群，简单测试。 角色分类 +--------------+[详细]
-
bigdata——HBase+zookeeper+Hadoop集群构筑 之 zookeeper集群构
所属栏目：[大数据] 日期：2021-05-27 热度：111
整体流程 zookeeper物件下载 物件解压 zoo.cfg文件作成 zoo.cfg文件设定 dataDir的 ID作成 zookeeper物件 zookeeper官网下载，此处使用的是zookeeper-3.5.1-alpha。 物件解压 直接使用如下命令 tar -zxvf zookeeper-****-***.gz zoo.cfg文件作成 命令如下[详细]
-
bigdata——HBase+zookeeper+Hadoop集群构筑 之 Hbase集群构筑
所属栏目：[大数据] 日期：2021-05-27 热度：117
整体流程 物件下载 解压 conf文件配置 启动停止 状态确认 物件下载 ???? 参考hbase官网 解压 ?? tar -zxvf hbase-***.gz conf文件配置 1.hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_67export HBASE_MANAGES_ZK=false 注意：JDK根据自己的环境配置[详细]
-
大数据处理的关键层次架构
所属栏目：[大数据] 日期：2021-05-27 热度：150
图1、大数据处理的关键层次架构 以下是对上图中各层次架构的说明 一、数据存储层 宽泛地讲，据对一致性（consistency）要求的强弱不同，分布式数据存储策略，可分为ACID和BASE两大阵营。 ACID是指数据库事务具有的四个特性：原子性（Atomicity）、一致性（[详细]
-
推荐丨大数据处理漫谈：盘点开源软件栈
所属栏目：[大数据] 日期：2021-05-27 热度：77
本篇文章重点梳理了软件栈，主要以开源软件为主，闭源不谈。大数据发展至今，开源软件层出不穷，也去解决了不同的问题，笔者试图去弄清楚这些，分门别类，后面也可以参照下。由于笔者知识面有限，难免会出现一些偏颇，不全，不正确，还请指正。后面也会有[详细]
-
机器学习的五个成功实践
所属栏目：[大数据] 日期：2021-05-26 热度：55
IT领导者们分享了使用人工智能和机器学习来获得业务洞察的方法。 随着组织越来越多地利用技术来更好地预测客户的偏好并支持业务运营，人工智能和机器学习(ML)越来越受企业青睐。 IDC的数据指出，2019年的支出为375亿美元，到2023年，人工智能系统方面的支[详细]
-
光学字符识别OCR如何让城市变得更便捷
所属栏目：[大数据] 日期：2021-05-26 热度：122
OCR通常也称为自动车牌识别（ANPR）、自动车牌识别（ALPR）和车牌识别（LNPR），采用人眼可见的字母数字字符，例如车牌、支票和护照，并使它们成为电子护照。正确识别这些各种字符可以帮助组织机构更准确地执行以前遭受人为错误的功能。它还可以帮助加快计[详细]
-
智能家居应用高峰论坛圆满结束！
所属栏目：[大数据] 日期：2021-05-26 热度：187
智能家居创新发展与技术标准产业联盟执行理事长陈军、中国移动智慧家庭运营中心智能方案系统部总经理浦贵阳、青岛海信智慧家居系统股份有限公司华南区总经理成斌、美的置业旗下广东睿住智能科技有限公司技术公司总经理杨[详细]
-
从智能建筑到自我掌握的智慧建筑
所属栏目：[大数据] 日期：2021-05-26 热度：190
企业组织尤其是他们的设施和房地产经理，一直在寻求改善我们的工作环境以及我们在其中工作的建筑物。与此同时，他们希望提高成本效益、提高生产力，并且-如今创造为员工提供健康，有吸引力的工作场所至关重要。 智能建筑技术和物联网（IoT）为改善我们的工[详细]
-
千家智客新年寄语：科技助力智慧生活，未来已来
所属栏目：[大数据] 日期：2021-05-26 热度：188
在当前国际贸易环境风云突变以及新冠疫情双重危机之下，我们所有人都面临着百年未有之大变局，站在新一轮科学技术革命和产业变革的边缘，建筑智能化行业都在思考社会变革和产业发展中的数字化需求与机遇。而新冠疫情的出现，更是将科技赋能智慧生活推向新[详细]
-
智慧城市技术的以后：人工智能、大数据和云
所属栏目：[大数据] 日期：2021-05-26 热度：176
世界上超过一半的人口被城市的吸引力所吸引-繁荣、就业、机会、教育和娱乐的增长吸引着人们，令人难以拒绝。城市规划者和企业家通过为公民提供必要的服务和企业来推动这一发展，从而推动了城市地区的快速扩张。 反过来，这导致了诸如可持续发展目标、智能[详细]
-
Covid-19如何让智慧城市变得更加优秀？
所属栏目：[大数据] 日期：2021-05-26 热度：115
为了使城市能够应对这些变化，技术是关键。为了保持互联互通并交流问题和解决方案，智慧城市需要大量相互协作的技术。智慧城市的发展，特别是针对出行，围绕三个关键领域：更好的道路数据、现有基础设施的实时控制系统以及未来的车辆和车队技术与基础设施[详细]
-
2021年最值得关注的6大新兴数字转型方向
所属栏目：[大数据] 日期：2021-05-26 热度：105
1.零售/电子商务中的增强现实 什么是增强现实？ 增强现实（AR）是现实世界的增强版本，可通过使用数字视觉元素，声音或通过技术传递其他感官刺激来实现。 用例： 虚拟试衣间-客户可以在镜子/屏幕前想象自己穿着所选衣服，并检查颜色、设计和合身度。 商店导[详细]
-
COVID-19大流行正推动面部识别技术实践
所属栏目：[大数据] 日期：2021-05-26 热度：64
在全球范围内，人工智能和各种监控技术正逐步成为抗击新冠肺炎的武器。最近的例子是俄罗斯利用面部识别软件来维持封锁限制，而在法国，监控程序显然已经过测试，其最终目标是在指示封锁时利用视频监控摄像头来决定居民是否遵守社会距离规则和戴口罩。 随着[详细]
