# 产品概述
Primeton BFT(英文全称:Primeton Big File Transfer,中文全称:普元大文件传输)是一款高可靠、易管控、经过国有大行生产级验证的分布式大文件传输平台;基于安全、高效的文件传输技术架构,依托断点续传、失败重试、异步日志、代理多活等多种容错机制,结合限流传输、并发控制、压缩传输、加密传输等功能,实现可靠的点对点、路由中转的文件传输;提供简洁易用的配置管理界面,使用者无需进行复杂的编程,只需通过统一管理界面进行简单操作即可完成文件传输任务的定义、运行、监控与管理。
# 产品功能架构
文件传输产品包括五个模块:BFTConsole(控制管理中心)、BFTServer(管理节点)、BFTAgent(代理节点)、BFTClient(传输客户端)、BFTLogCenter(日志中心),产品功能架构如下图所示:
BFT Server(管理节点)
大文件传输引擎,基于JAVA构建,对BFT Agent进行统一的状态管理及通讯管理、代理节点资源信息获取,传输策略的下发,控制管理中心对代理节点操作通过BFT Server中转,底层采用HTTP、NETTY通讯机制保证数据的安全、可靠地传输。
BFT Agent(代理节点)
大文件传输代理节点是文件传输的基本单元,部署在需要进行文件传输的服务器上,实现节点之间一对一,一对多的文件传输,sftp/ftp上传下载、对象服务器传输,支持文件扫描、文件传输、断点续传、并发传输、压缩传输、加密传输等功能。
BFT Console(控制管理中心)
大文件传输控制管理中心,基于微服务架构、前后端分离技术实现的集中监控管理平台。通过BFT Console,可以实现对网络中所有BFT Agent、BFT Server节点的集中配置、监控、管理和维护等工作。对文件传输策略实时进行新增、启动、停止、修改等操作,提高系统的维护管理效率,增加用户对系统环境掌控,降低系统维护成本。
BFT Client(传输客户端)
BFT Client(客户端)是一款轻量级文件传输工具,提供远程接口、SDK嵌入等多种文件传输触发形式,无需长期维护,无需在BFT Console配置包括节点,目录,策略等信息,通过客户端,即可简单完成与代理节点的文件传输,同时,传输信息将写入BFT系统数据库,供用户查询。
BFT LogCenter(日志中心)
集群部署的日志中心,整合各个传输节点传输日志文件,统一解析批量入库,日志中心宕机情况下,传输日志将以文件形式保存,待日志中心恢复后,日志将自动同步加载,保证传输记录的完整性,传输任务的健壮性。
# 产品特性
# 支持灵活、丰富的传输策略及策略调度方案
平台支持支持一对一(Agent传输、SFTP/FTP上传/下载、对象存储服务器上传/下载)、一对多的文件传输策略,在配置策略的过程中,提供多种文件筛选功能,可指定文件,限定传输文件的文件名称、文件类型、文件大小等;提供丰富的归档能力,对传输成功的文件进行删除、移动、加标记等操作; 支持周期性、定时触发、标识文件触发等多种调度方式执行文件传输策略,所有调度策略均支持一次性运行。
# 支持点对点、节点组播、路由转发等多种数据交换模式
平台支持通过简单界面配置,可快速实现在任意两台代理服务器间进行点对点的文件传输;同一文件可同时向多个目标节点进行文件传输,并通过平台进行统一管理;对处于两个不同网域/网段的代理节点可通过共享代理节点进行文件传输,也支持内外网间的文件传输。
# 提供文件并发传输、文件限流、文件校验等传输控制能力
平台每个传输代理节点可设置文件并发数,也可对每个策略配置文件并行数,用户可通过设置文件并发数,限定同一时间传输文件个数,进而优化服务器资源使用,防止资源耗尽问题。
策略级带宽限制:在每个传输策略的配置中配置带宽限制,用来限制单个策略在传输时的带宽;节点级带宽限制:在每个传输节点的配置文件中配置单个节点的带宽限制,用来限制整个节点的传输带宽。 所有文件在传输前后都可进行一次MD5校验(摘要MD5校验或者全文MD5检验),在文件传输完成会对目标文件进行MD5校验,并将两次MD5校验码进行比较,完全相同时标识文件成功传输,保障文件传输可靠性。
# 支持断点续传、文件重发、代理节点重连等容错机制
平台会在文件传输过程中逐字节记录传输位置,当由于网络问题或者其他因素(异常关机等)导致文件只完成部分传输,待服务恢复后传,平台会延续上次传输进度继续进行传输;文件传输过程中出现问题导致文件传输失败,将触发文件重发机制再一次尝试发送文件,平台也可对重试次数进行配置;当发生代理节点离线情况后,平台将主动尝试连接管理节点,重新进行登录并获取传输策略,进行文件传输;同时代理节点支持多活方式部署,支撑文件稳定、可靠传输。
# 支持TB级大文件及海量小文件的高效、可靠传输
平台具有面向分布式应用的大文件传输能力,通过点对点、文件分片技术、优化socket算法支持TB级以上大大传输;通过多线程、多并发、高速Socket复用技术、智能扫描并发数、动态文件并发数控制等能力,支撑海量小文件的可靠、高效传输支持海量文件高速传输。 同时针对国产环境进行深度优化,性能较主流方案有大幅提升。其中大文件传输场景,相对于业界主流方案 TPS 提升36.01 % ,批量文件传输场景,相对于业界主流方案 TPS 提升99.72%,AES加密传输场景,相对于业界主流方案 TPS 提升131.91%
# 可动态添加的加密、压缩算法与出入口函数,保障文件传输安全
平台支持文件加密、压缩传输,内置DES、AES、SM4加密算法,ZIP、RAR压缩算法;支持通过扩展方式动态添加加密、压缩算法对文件进行加密、压缩传输;提供出口、入口函数接口,可快速实现文件发送前、文件接收后对文件进行校验、脱敏、病毒扫描等操作,从而保障文件传输安全。
# 提供全方位、多角度的文件传输统计监控
平台提供传输中实时监控、文件到达监控、文件传输历史监控、策略执行监控、异常告警监控、代理节点资源监控等; 平台提供多角度的文件传输统计,包括按策略统计分析、按节点统计分析、图像化传输链路展现; 平台提供大屏展示功能,图形化展示当天实时传输数据,传输统计等信息。
# 轻量级文件传输客户端
大文件传输客户端,是一款轻量级文件传输工具,提供命令行、远程接口、SDK嵌入三种文件传输触发方式;通过客户端,可快速实现与客户业务应用的集成,完成与代理节点的文件传输,同时传输信息将写入BFT系统数据库,供用户查询使用。
# 开放式架构,提供易于使用的为二次开发接口
平台内置扩展框架,便于二次扩展开发,可快速扩展开发新功能,满足客户特定业务诉; 提供站外告警接口,实现该接口可快速将站内告警内容与第三方系统对接; 扩展功能与内置功能完全兼容,扩展功能将纳入平台监控体系,可实现与客户业务应用快速集成。
# 全面支持国产信创生态
国产操作系统服务器支持银河麒麟 V10、UOS V20; 国产应用服务器支持PAS V6.5、PAS V7.0; 国产数据库支持DM V7/V8、KingbaseES V7、Oscar V7、瀚高 V5.6、优炫 V2.1、PostgreSQL V9.6、GaussDB v2.0.0。