产品中心

Product Center

神通K-Fusion数据集成系统

一、产品简介

       神通K-Fusion能辅助用户从企业原有信息系统架构那些分散的、异构的数据源中抽取目标数据,进行可定制的清洗、转换、集成,并加载到企业统一建设的数据仓库中,最终为OLAP、数据挖掘等商业智能活动奠定良好的数据基础。


K-Fusion主界面


二、产品功能

1) 面向多种数据源的抽取和加载
      K-Fusion支持对多种数据源的抽取和加载,包括关系型数据库、OLAP数据、平面文件(TXT、CSV、Excel、XML等)和网络文件(支持HTTP、FTP、RSS等协议),其中不仅支持Oracle、DB2、SQL Server、MySQL、Greenplum、Teradata等国外数据库或数据仓库,还支持国产神通数据库,共计40余种,涵盖了绝大部分常用的商业和开源的数据库系统。

      K-Fusion支持从多个数据源同时抽取并向多个数据目的端同时加载,即对来自不同源头的数据,根据自动识别或按照定义的规则,进行Lookup、笛卡尔积、Merge等方式的融合,并按需加载到不同的数据目的端。

2) 丰富的数据转换功能

        支持31种类型的数据转换,包括值映射;字段选择、拆分、计算;设置字段值;增加序列、常量、校验和;添加XML与XSL转换;行扁平化、列规范化,行转列;去除重复行;行排序、分组等。

3) 增量的ETL
       K-Fusion通过CDC(Change Data Capture)机制来定期识别出数据源的增量数据,并完成这些增量数据的抽取、转换和加载。K-Fusion支持的CDC方式包括:(1)全表比对,比较数据源在不同时间点上的全部数据的差异;(2)基于数据源标识字段的CDC,例如使用“数据库表的时间戳字段”或“数据库表的序列字段”;(3)基于触发器的CDC;(4)基于数据库日志分析的CDC。
4) 所见即所得的流程设计和执行

        K-Fusion的ETL流程能够通过所见即所得的方式进行定制。用户可以通过顺序、分支、循环、嵌套子流程等方式实现任意复杂的ETL逻辑。设计好的流程具有良好的可移植性,既可在本地执行,也可以发布到远程服务器上执行,用户还可以对流程的执行过程和结果进行监控。流程的执行方式灵活多样,既可以手工触发执行,又可以按时间点、按周期进行自动调度执行。

 

所见即所得的流程设计

三、技术优势
· 设计时环境和运行时环境相互结合
      K-Fusion既提供了集设计、执行、调试、部署、监控于一体的IDE,又提供了独立的ETL流程运行时环境。前者主要面向ETL流程设计阶段,关注如何通过调试和本地试运行,设计出逻辑正确,性能良好的流程,后者主要面向ETL生产运行环境,使流程得以长期、稳定地被调度执行,两者各有侧重,相辅相成。
· 丰富的性能监控和提升机制

       K-Fusion提供了流程和节点两个级别的性能监控日志功能,能够以不同的粒度记录每次流程执行过程中重要信息,例如读、写、输入、输出、更新、删除的数据行数,节点的每秒处理的数据行数、整个流程每秒处理的数据行数;并且对信息进行可视化以便用户快速定位性能瓶颈。K-Fusion还实现了多种用于流程性能提升的机制,例如在流程处理过程中对数据进行分片处理,并通过设置流程处理节点的冗余实现对这些分片数据的并行处理和负载均衡;对大文本的读写实现并行化;对常用的关系型数据库目的端进行Bulk Insert方式的批量数据加载。通过以上机制,显著降低大数据量情况的抽取、转换和加载时间,提高了用户数据集成工作的效率。

流程及节点监控

· 完善的流程控制能力和异常处理
       K-Fusion支持对多个ETL流程间相对执行顺序的控制,除了提供了流程串行的方式外,提供了多流程的并行执行方式以获得执行效率的最大化,另外还可延迟或者中断指定节点或者子流程的执行。对流程执行过程中可能存在的异常,支持异常处理流程的自定义,例如定制“日志记录”、“邮件通知”或“异常数据归档”,以提高实际部署环境中,用户ETL流程的容错性。
· 灵活的扩展机制

        除了内置的23种数据处理节点之外,K-Fusion还提供两种层次的机制对其数据处理能力进行扩展,一种是通过程序脚本,另外一种是通过插件机制。前者在数据处理节点层面,于运行时调用用户自定义的JavaScript或存储过程脚本,增强该节点对数据的处理逻辑;后者在软件层面,由用户开发和编译符合K-Fusion扩展接口要求的数据处理插件,并于运行时由K-Fusion动态识别和加载该插件,从而提升K-Fusion软件的数据处理能力。

五、服务说明
服务宗旨
      神舟通用公司本着以客户为中心的宗旨,为用户提供响应快速,内容全面的技术服务,确保用户系统在使用的过程中保持良好的稳定性和性能,使用户系统运行风险和维护成本达到最低,并最终为用户带来良好的效益。
服务内容
   ■ 神通数据库系列产品的安装/设置/操作/使用
   ■ 神通数据库系列产品的故障排除
   ■ 神通数据库系列产品的性能调优
   ■ 神通数据库系列产品日常维护
   ■ 神通数据库系列产品数据恢复
   ■ 神通数据库系列产品产品培训与认证
   ■ 神通数据库系列产品的行业解决方案
   ■ 神通数据库系列产品的应用系统移植
   ■ 神通数据库系列产品的产品升级
   ■ 神通数据库系列产品的定制开发
   ■ 神通数据库系列产品的产品培训
   ■ 神通数据库系列产品的定期巡检
   ■ 神通数据库系列产品的售前开发支持

服务方式
· 热线电话服务
   热线支持电话:4006-198-288
   用户通过热线支持电话可以了解产品最新信息、探寻问题解决之道、报告产品瑕疵以及寻求技术指导等。
· 网络支持
      邮件服务:用户可以随时通过电子邮件向神通技术支持中心寻求帮助。我们将有专门的技术人员对邮件进行分类和审核,并根据问题的紧急程度安排技术支持工程师与用户取得联系,为用户提供及时的技术支持服务。神舟通用公司技术服务邮箱:dbsupport@bjsasc.com
       技术库:可访问安装帮助、版本通知、热点话题、问题/解决方案文章和文档等信息。技术论坛:用户能将问题公布给技术支持工程师或用户团体,分享和交流信息与经验。
       远程连接服务:神舟通用公司技术支持人员通过远程连机到用户的系统所在的服务器,进行远程调试,以尽快的解决用户遇到的问题。
       产品生命周期:提供最新的产品版本信息和产品支持信息、和产品可用性、认证、技术警报和产品支持终止信息。
· 传真
       传真:010-59895589
     用户可以通过传真向神通数据库系列产品反映现场遇到的问题,同时传真可以传输现场的错误信息和环境信息。
· 现场技术支持
      针对一些严重问题,我们将安排专业的技术支持工程师为用户提供实时现场服务。
· 技术研讨会
      客户可以参加各种神通数据库系列产品技术研讨会。研讨会的目的是加强技术专家和客户之间的沟通,并帮助客户了解和掌握神通数据库系列产品的最新功能、最新技术以及行业解决方案。
响应时间
       用户在使用神通数据库系列产品过程中出现问题,神通技术支持人员会首先通过电话、网络、传真解决用户遇到的问题,响应时间为2个小时,在此时间内神舟通用公司会根据用户反映的问题进行定位和分析,并且根据问题的等级,选择技术支持工程师或是专家进行解决,如果采用电话、网络等远程方式无法解决,相应的技术支持人员会立即赶赴现场为用户解决问题。
本地化服务
      神舟通用公司通过区域技术支持中心,为使用神通数据库系列产品的用户提供本地化、快捷的现场技术支持服务。
提供解决方案协同服务
       神舟通用公司与国内中间件、操作系统基础软件厂商和硬件制造商形成了紧密的合作关系,能够为用户提供综合功能性和高性能验证平台,发挥各自的优势,为用户提供协同服务。
服务团队

      神舟通用公司经过多年的发展,锻炼出了拥有丰富经验和有较强技术实力的售后支持团队,形成了数据库技术专家和技术支持工程师的梯级队伍,所有的数据库技术专家全部拥有八年以上的数据库开发和技术支持的工作经验,技术支持工程师至少拥有三年技术支持工作经验,能够为用户的实施提供强有力的技术支持工作。