数据接入平台实现外部数据的快速接入及统一化管理。它提供了灵活数据采集、高效数据传输、实时数据分发,自动容错恢复能力,支持对外部数据源转换、筛选、清洗、融合等加工,并提供新的数据产品,构建基于实时数据的分析和应用。
1、可视化接配置
系统提供接口与参数的可视化配置方式,替代传统通过代码编写来实现外部供应商对接的方式,提升开发对接效率,减少开发工作量。系统兼容市面上主流的第三方数据接口,支持http、https、webservice、websocket多种协议,除此之外,非实时接口还支持ftp,sftp,socket,支持同步接口和异步接口配置,支持单一服务调用和多服务级联调用。
可视化配置方式,提供数据服务的基本属性配置,如接口地址、请求方式、接口类型等,同时,可以设置接口数据的有效期,配置接口的超时时间、重试次数和重试时间间隔等属性,有效提高数据获取效率、减少数据查询次数,减少数据查询成本。
接口的报文头、报文体、加密算法和报文取数计算配置,可根据接口文档配置相应的接口要素配置相应的字段、默认值、加密算法、组合方式、是否发送、上下级关系等,系统根据配置自动组装报文,发送服务请求。
2、数据清洗加工
接入外部数据后,可在数据清洗加工模块对数据进行解析处理,把数据源的指标加工成符合行内标准指标,可以设置指标对应的数据字典、缺失数据的默认值、衍生指标的计算公式等,并对指标进行分类统计,加工后的数据进行存储并提供其他业务系统或模块使用。
3、智能路由
支持同一类型数据多渠道接入,通过复用下级接口字段实现同一类型数据源切换,默认执行当前数据源,同一类型数据源停用,当默认执行的数据源存在故障或出发设定的数据源调用规则时,手动或自动停用默认执行的数据源,配置在下级的数据源自动生效,预设的数据源切换规则可以配置在参数管理模块,考虑默认数据源超时、数据源成本超过阈值、数据源调用权限失效等场景,自动调整数据源。
4、接口分析
系统针对接口提供全方位的监控与分析服务,从接口调用、应用程序等角度实现对接口的全流程监控、实时监控。系统通过多个维度对外部数据的使用情况进行统计,提供调用情况明细和汇总数据的查询和导出功能,可直观了解不同数据源的调用情况和费用。
提供定时任务监控数据服务的运行情况,如有异常及时预警,通过预设的规则自动处理,或者人工介入手工处理。
5、风险预警
系统对数据接入层与分发层可能发生的风险采取实时监控的方式进行预警,并支持用户自定义配置预警策略,对可能存在的各种异常状态进行处置。接口风险直接推送到邮件、短信或银行运维管理平台,实现零死角监控。
预警指标管理,可以对不同接口设置不同预警指标,可设置多个预警指标。
预警任务管理,同一指标,不同的接口可以设置不同的预警阈值、预警方式和预警信息,通过不同的预警任务实现。
1、配置化、标准化、智能化
2、支持多种协议接入,如:http、https、webservice、websocket
3、全面兼容OAuth2的认证授权规范
4、集成在线测试工具,一键测试
5、自定义数据缓存时效
6、实现多维度统计查询的计费管理
7、框架基于分布式微服务实现,支持动态扩容,高可用,高并发
8、完全兼容主流关系型数据库和大数据平台
9、已对接多家反欺诈和征信数据,为客户提供全面的数据接入解决方案
1、承德银行
2、五矿国际信托有限公司