首页最新资讯

全部 常见问题 新闻动态 技术文章 技术问答

    • Scrapy框架流程图和框架组件

      Scrapy的这些组件通力合作,共同完成整个爬取任务。架构图中的箭头是数据的流动方向,首先从初始URL开始,Scheduler 会将其交给Downloader进行下载,下载之后会交给Spiders进行分析。查看全文>>

      技术文章2021-06-18 |黑马程序员 | Scrapy框架流程图
    • Znode节点的属性和节点作用列举

      每个Znode都包含了一系列的属性,对于Zookeeper来说,Znode状态改变的每一个操作都将使节点接收到唯一的zxid(Zookeeper Transaction ID)格式的时间戳,并且这个时间戳是全局有序的,通常被称为事物ID...查看全文>>

      技术文章2021-06-17 |黑马程序员 |Znode,Znode节点属性
    • Zookeeper选举机制涉及的概念有哪些?

      Zookeeper为了保证各节点的协同工作,在工作时需要一个Leader角色,而Zookeeper默认采用FastLeaderElection算法,且投票数大于半数则胜出的机制,再介绍选举机制前,首先了解选举涉及的相关概念。查看全文>>

      技术文章2021-06-17 |黑马程序员 | Zookeeper, Zookeeper选举机制需要,自主选择leader
    • 如何Zookeeper安装部署HBase集群?分步骤讲解

      HBase中存储在HDFS中的数据是通过Zookeeper协调处理的。由于HBase存在单点故障的问题,因此,可以通过Zookeeper部署一个高可用的HBase集群解决。下面,以三台服务器为例(hadoop01、hadoop02和hadoop03),讲解如何安装部署HBase集群。查看全文>>

      技术文章2021-06-17 |黑马程序员 |HBase集群部署,Zookeeper,HBase安装
    • RDD在Spark中是怎样运行的?

      Spark的任务调度流程分为RDD Objects、DAGScheduler、TaskScheduler以及Worker四个部分。关于这四个部分的相关介绍具体如下:查看全文>>

      技术文章2021-06-17 |黑马程序员 |RDD运行流程,RDD在Spark中的运行流程
    • 怎样保证多线程同时段只有一个线程被访问?

      被多个线程同时访问,使用线程同步技术,可以确保数据在任何时刻最多只有一个线程访问。查看全文>>

      技术文章2021-06-16 |黑马程序员 |多线程,线程同步,线程同步问题