当前位置:白小姐输尽光全年资料大全 > 取字段数 >

bboss 大数据抽取工具 408 发布 - OSCHINA

  数据导入功能,提供高效的分布式并行处理能力,可以采用数据库分区、按字段分区、分页方式并行批处理抽取文件系统中;能有效解决按字段分区抽取数据时,各分区数据不均匀导致作业任务处理节点负载不均衡的问题。

  灵活的作业任务处理模式:可以增量方式执行作业任务,作业可以停止后重新执行,重新执行时只需执行未完成的作业任务,也可以全部重新执行所有作业任务;当停止作业后,可以在原有作业切分的基础进一步切分出子任务,然后再重新执行作业,提升系统处理数据效率。

  作业处理服务器为每个作业分配独立的作业任务处理工作线程和任务执行队列,作业之间互不干扰

  通过管理监控端,可以实时监控作业在各个数据处理节点作业任务的实时运行状态,查看作业的历史执行状态,方便地实现提交新的作业、重新执行作业、停止正在执行的作业、清除作业执行监控数据、同步作业任务执行状态等操作

  Bboss持久层:高效数据查询行处理器,灵活动态数据源管理(连接池数据源/非连接池数据源),表分区信息查询等,动态创建作业配置表和作业监控记录表

  Bboss分布式事件框架:基于JGroups,提供异步分布式事件驱动模型,动态管理作业节点(服务节点和数据处理节点),包括作业节点的动态加入、动态离开等;在管理节点、数据处理节点之间分发和接收各种作业处理指令事件

  Bboss mvc:实现监控管理应用模块,在监控服务节点中,通过mvc容器启动启动作业管理节点

  Bboss序列化组件:用来将作业监控数据序列化存储到sqllite中的作业监控表,同时在查看作业执行历史时将序列化存储的作业监控数据还原为对象状态的监控对象,便于界面展示

  Bboss应用执行容器:用来启动作业管理监控应用、作业数据处理应用、启动jetty容器

  本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。

  当你有海量的数据要往hdfs里面导入的时候;并且在导入的时候想查看所有作业节点的作业任务实施状态;并且在失败或者停止后只想再次执行没有完成或者失败的作业任务的时候;并且想在监控界面看到详细错误日志的时候(数据量那么多,导入过程中难免出现这样那样的问题呢),这个东东就能排上用场了,否则确实没有什么用

  着重强调通过分布式事件模型来维系整个数据抽取网络节点之间的松散的成员关系管理和通讯机制

  bboss大数据抽取工具功能特点如下: 实现db到hadoop hdfs数据导入功能,提供高效的分布式并行处理能力,可以采用数据库分区、按字段分区、分页方式并行批处理抽取db数据到hdfs文件系统中;能...

  bboss 大数据抽取工具 4.0.9 发布 相较上一版本(v4.0.8),v4.0.9增加了以下特性: 按照按日期字段切分任务,抽取db数据到hdfs,可以在第一次切分任务的基础上,将日期范围任务块进一步切分...

  本文适用bboss 4.10.7及更低版本,4.10.8及后续版本构建请参考文档:采用gradle构建和发布bboss方法介绍 基于bboss开发项目说明 要做简单的demo,请参考文档

  J2EE企业级开源框架bboss v4.10.5 发布。 v4.10.5是bboss有史以来最稳定、功能最全版本。 v4.10.5优化了bboss核心模块架构(ioc,mvc,持久层,标签库等),梳理了bboss模块之间依赖关系,使...

  bboss是一个j2ee开源框架,为企业级应用开发提供一站式解决方案,并能有效地支撑移动应用开发。bboss功能涵盖ioc,mvc,jsp自定义标签库,持久层,全局事务托管,安全认证,SSO,web会话共享...

  原以为线程池还挺简单的,这次是想自己动手写一个线程池来更加深入的了解它;但在动手写的过程中落地到细节时发现并没想的那么容易。

  自特朗普政府禁止美国公司向华为及其子公司出口零部件之后,Google 和 ARM 先后暂停了与华为的业务合作。据最新的报道,制定无线技术标准的 Wi-Fi 联盟和制定 SD 存储卡标准的 SD 协会均将华...

http://lumkeslaw.com/quziduanshu/123.html
点击次数:??更新时间2019-06-03??【打印此页】??【关闭
  • Copyright © 2002-2017 DEDECMS. 织梦科技 版权所有  
  • 点击这里给我发消息
在线交流 
客服咨询
【我们的专业】
【效果的保证】
【百度百科】
【因为有我】
【所以精彩】