ITPub博客

首页 > 大数据 > Hadoop

关于 “Hadoop” 的内容如下:

  • Hadoop大数据存算分离下,如何解决新旧存储共存?

    在传统的Apache Hadoop集群系统中,计算和存储资源是紧密耦合的,HDFS为大数据存储带来便利的同时,也面临着一些挑战:当存储空间或计算资源不足时,只能同时对两者进行扩容。假设用户对存储资源的需求远大于对计算资源的需求,那么同时扩容计算和存储后,新扩容的计算资源就被浪费了,反之,存储资源被浪费。这导致扩容的经济效率较低,额外增加成本。而独立扩展的计算和存储则更加灵活,同时可显著降低成本。现

    XSKY融合存储 Hadoop 35 2020-07-10 16:30
  • 跟Kafka学技术系列之时间轮

    kafka是一个分布式消息中间件,其高可用高吞吐的特点是大数据领域首选的消息中间件,Kafka是分布式消息队列的顺序读写文件分段组织串联起来思想的鼻祖,包括RocketMq这些消息队列都是借鉴了Kafka早期的架构和设计思路改造而来,所以在架构设计层面,Kafka有非常多值得借鉴的地方。

    java06051515 Hadoop 303 2020-07-02 21:48
  • 【赵强老师】大数据工作流引擎Oozie

    【赵强老师】大数据工作流引擎Oozie

    zhaoqiang7788 Hadoop 422 2020-06-28 13:07
  • 好程序员大数据培训分享Hadoop入门学习线路图

      好程序员大数据培训分享Hadoop入门学习线路图,Hadoop是系统学习大数据的必会知识之一,Hadoop里面包括几个组件HDFS、MapReduce和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapReduce是对数据进行处理计算的。YARN是一种新的Hadoop资源管理器,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共

    好程序员 Hadoop 383 2020-06-21 22:59
  • 大数据十年:Cloudera向左,Palantir向右

    如今,两家公司高下已分。

    dobigdata Hadoop 400 2020-06-21 16:32
  • 想了解大数据的鼻祖Hadoop技术栈,这里有一份优质书单推荐!

    如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?对于大部分人来说都是傻傻分不清楚。今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据,都不好意思说自己是在IT圈混的。我敢打赌,你在中关村西二旗地铁站溜一圈,保准你会听到如下名词:Hadoop、Spark、MapReduce、NoSQL、离线计算、实时计算、实时推送等等一大串名称。程序猿们就

    a724888 Hadoop 413 2020-06-19 20:40
  • 想了解大数据的鼻祖Hadoop技术栈,这里有一份优质书单推荐!

    a724888 Hadoop 380 2020-06-19 20:39
  • 好程序员大数据培训分享:Hadoop集群同步

      好程序员大数据培训分享:Hadoop集群同步,给大家带来的技术分享是——Hadoop集群同步。一、同步方式  选择一个机器,作为时间服务器(这里选择hadoop01),所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。二、所需工具  时间同步服务器有两个:ntpd和ntpdatp。虽然使用二者都能达到时间同步的目的,但是使用之前得弄清楚一个问题,ntpd与ntpdate在

    好程序员 Hadoop 390 2020-06-17 12:05
  • 好程序员分享大数据入门教程:Hadoop和spark的性能比较

      好程序员分享大数据入门教程:Hadoop和spark的性能比较,大数据课程,一门看似很专业实际很复杂的学科,备受追捧。因为大数据的就业前景真的很诱惑人,单单是就业薪资就能让人趋之若鹜。今天大数据讲师给大家分享的技术知识是大数据入门课程之Hadoop和spark的性能比较。  曾经看过一个非常有趣的比喻,Hadoop是一家大型包工队,可以组织一大堆人合作(HDFS)搬砖盖房(用MapReduce

    好程序员 Hadoop 417 2020-06-16 22:31
  • 好程序员大数据培训分享HDFS读流程

      好程序员大数据培训分享HDFS读流程1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件,这时就是HDSF分布式系统所获取的一个对象  2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置,对于每一个block,NameNode返回一个含有Block的元数据信息,接下来DataNode按照上面定义的距离(offSet偏移量)

    好程序员 Hadoop 415 2020-06-15 15:43
  • HDFS的机架感知策略

    HDFS采用机架感知策略来改进数据的可靠性、可用性和网络宽度的利用率。

    山有木xi Hadoop 926 2020-06-15 15:35
  • hadoop 将文件上传到指定的datanode 查看文件所在的块

    package hgs.dfsclient.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.CreateFlag; import org.apache.hadoop.fs.Path; import org.apache.hado

    hgs19921112 Hadoop 414 2020-06-15 13:41
  • HDFS的体系结构

    分布式文件系统HDFS是一种分布式文件系统,设计用于在商用硬件上运行,它与现有的分布式文件系统有许多相似之处。但是,与其他的分布式文件系统也有着很大的差异,HDFS旨在具有高容错、部署在低成本应将、提供对应用数据的高吞吐量访问。适用于具有大型数据集的应用程序。

    山有木xi Hadoop 1603 2020-06-08 17:15
  • Hadoop KMS配置(HDFS透明加密)

    hdfs透明加密处于数据库加密层和文件系统加密层之间。能有效地防止对文件系统的攻击,因为他的存储都是加密的。 对于每个用户可以有不同的加密区。

    superjack2 Hadoop 125 2020-06-06 17:50
  • HDFS分布式文件系统

    分布式文件系统(Hadoop Distributed File System)是Hadoop核心子项目,为Hadoop提供了一个综合性的文件系统抽象,并且只会实现了多类文件系统的接口。HDFS基于流式数据访问、存储和处理超大文件。

    山有木xi Hadoop 1483 2020-06-05 14:35
  • 好程序员大数据培训分享大数据两大核心技术

      好程序员大数据培训分享大数据两大核心技术,今天小编给大家先分享一下大数据的两大核心技术,知己知彼才能百战不殆,学习大数据技术也是一样的道理,要先有一个清晰的了解,才能确保自己全身心的投入学习。  Hadoop是什么?  Hadoop在2006年开始成为雅虎项目,随后晋升为顶级Apache开源项目。它是一种通用的分布式系统基础架构,具有多个组件:Hadoop分布式文件系统(HDFS),它将文件以

    好程序员 Hadoop 320 2020-06-05 00:25
  • 好程序员大数据培训分享SQL优化方案精解十则

      好程序员大数据培训分享SQL优化方案精解十则:一、避免进行null判断。应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,这里最好不要给数据库留NULL,尽可能的使用 NOT NULL填充数据库。备注、描述、评论之类的可以设置为 NULL,最好不要使用NULL。不要错误的认为NULL 不需要空间,如char(100) 型,在字段建立时,空间

    好程序员 Hadoop 327 2020-06-05 00:11
  • 网络技术有一个问题,技术迭代太快导致了新的风险

    华为“心声社区”刊登了任正非接受《经济学人》的采访纪要。任正非表示,华为的6G研究也是领先世界的,预计6G技术十年后才会开始投入使用。此前加媒8月13日报道,华为已确认在加拿大渥太华开始6G网络研究。相比于我们熟悉的4G技术,5G技术的速率更高,延迟更低,不会拥挤,可以支持更为密切、高密度和实时的网络连接,这些技术对于物联网、大数据、AI技术都会有很大帮助。5G作为一种技术进步,其意义自然很多,也

    光电加速 Hadoop 435 2020-06-04 17:10
  • 好程序员大数据学习路线分享Hadoop机架感知

      好程序员大数据学习路线分享Hadoop机架感知,1.背景:Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨机架节点上拿数据要快;同时,如果整个机架的网络出现异常,也能保证在其它机架的节点上找到数据。为了降低整体的带宽

    好程序员 Hadoop 343 2020-06-04 01:03
  • 奈学教育:Hadoop源码编译全流程分享

    首先准备一个hadoop源码包,我选择的hadoop版本是:hadoop-2.7.7-src.tar.gz,在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt,这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样,对应的版本参照BUILDING.txt

    奈学教育 Hadoop 376 2020-06-03 12:16
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
17319047854
扫描二维码联系客服
关于 广告服务 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心