没有找到合适的产品?
联系客服协助选型:023-68661681
提供3000多款全球软件/控件产品
针对软件研发的各个阶段提供专业培训与技术咨询
根据客户需求提供定制化的软件开发服务
全球知名设计软件,显著提升设计质量
打造以经营为中心,实现生产过程透明化管理
帮助企业合理产能分配,提高资源利用率
快速打造数字化生产线,实现全流程追溯
生产过程精准追溯,满足企业合规要求
以六西格玛为理论基础,实现产品质量全数字化管理
通过大屏电子看板,实现车间透明化管理
对设备进行全生命周期管理,提高设备综合利用率
实现设备数据的实时采集与监控
利用数字化技术提升油气勘探的效率和成功率
钻井计划优化、实时监控和风险评估
提供业务洞察与决策支持实现数据驱动决策
原创|行业资讯|编辑:陈俊吉|2016-09-30 10:04:46.000|阅读 1757 次
概述:上期我们讲述的是实现数据工程师梦想的一个小目标《梦想成真,只差一步》,里面提到了要实现数据超市的管理,数据工程师需要使用合适的工具将数据进行整理、组合、分类后上架,然后业务分析师和数据科学家就可以使用了。
# 界面/图表报表/文档/IDE等千款热门软控件火热销售中 >>
相关链接:
上期我们讲述的是实现数据工程师梦想的一个小目标《梦想成真,只差一步》,里面提到了要实现数据超市的管理,数据工程师需要使用合适的工具将数据进行整理、组合、分类后上架,然后业务分析师和数据科学家就可以使用了。
在整个数据工程师的工作流程中,需要自始至终的进行数据治理:我们需要将每种类型的数据进行清晰的标识以及分类,以利于其它角色的用户进行查找以及使用;我们需要将每种数据的使用范围进行管理以及监控,以使得数据被合理、合法的使用;我们还要管理数据的生存周期以及质量溯源,以利于数据质量可以被监管,无用数据被清除...... 因此本文中我们将着重介绍上图中标红框的部分,介绍实现我们梦想的工具Open Metadata Services - 开源组件Apache Atlas。
这个模块还在Apache的孵化中,最新的版本是8月16号发布的0.7版本。详细文档可以查看以下链接:http://atlas.incubator.apache.org/
Atlas 最早由HortonWorks实现,用来管理Hadoop项目里面的元数据,进而设计为数据治理的框架。后来开源出来给Apache社区进行孵化,目前得到Aetna,Merck,Target,SAS等公司的支持进行发展演进,IBM现在也积极贡献功能,拿来为我所用。(其在HortonWorks公司的介绍材料链接: https://zh.hortonworks.com/apache/atlas/#section_1 ) 从其诞生历史看,该框架天生就支持横向海量扩展,具备良好的集成能力,非常适合在云上使用。以下是其架构图:
Apache网站介绍它的主要功能有:
1、数据分类 ;
2、集中审计 ;
3、搜索及溯源 ;
4、安全及策略引擎 ;
它的最核心部分Core就是类型管理系统 Type System , 用户可以把数据资产进行类型定义,然后使用Ingest/Export 的模块进行元数据的导入、修改、删除等管理。和外界的接口可以通过Rest API或使用Kafaka进行消息交换。数据对象存放在按照图的模式进行管理的Titan图数据库中,具体Titan又把元数据存放在HBase中,索引存放在Solr中。这样用户可以非常便捷和直观的通过层次图进行浏览信息,可以按照文字进行精确的查找。
如上图,我们将数据资产分成了五类,分别是:Pipeline、Data Set、Report、Model、Notebook,具体存储的属性是红色框部分,描述了以上五种数据资产的详细信息:例如它是哪类型业务,数据质量如何,归在哪个项目里面,具体评级如何、用户访问权限如何等等......
有了这个Open Data Services服务后,我们是否觉得又离梦想近了一步?更详细的使用我们将在未来文章分享。
IBM对开源社区一直采取大力拥抱以及不遗余力地进行支持的态度:
IBM基于Cloud Foundry 打造了世界最大的PaaS平台BlueMix,在上面部署了大量开源的云数据服务业务 - 例如Cloudant源于CouchDB,DataWorks Forge构建在Spark平台之上。现在我们将Atlas开源元数据管理部署到我们的云数据治理中,通过实际使用来促进该项目的大力发展。我们有理由相信,未来IBM 将把开源的魔力继续发扬光大!
更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>
详情请咨询在线客服!
客服热线:023-66090381
本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@evget.com
作为全球领先的三维图形开发平台,Tech Soft 3D提供的HOOPS产品套件已成为众多计算机辅助制造(CAM)软件的核心基础架构之一,并为其提供了高性能的数据解析、三维渲染与协作能力。
Parasoft dotTEST凭借其即插即用的内置安全标准和直观的规则映射能力,为C#/VB.NET 开发者提供了强大的支持。它有效消除了理解复杂标准与配置规则的障碍,让开发者能够专注于编写高质量代码,而非耗费精力在标准解读与工具映射上。这不仅显著提升了开发效率,缩短了交付周期,更从源头系统性地降低了安全风险,确保了软件符合严苛的行业合规要求。
Parasoft Virtualize以智能复用和轻量存储为核心,不仅解决了传统测试数据管理的冗余与性能瓶颈,更通过技术创新释放了团队的生产力。它让开发者摆脱重复劳动的束缚,将精力聚焦于更复杂的业务逻辑与质量验证,从而在快节奏的开发周期中保持敏捷与精准。无论是应对高并发的性能挑战,还是满足数据合规的严苛要求,Virtualize都以优秀的解决方案为技术团队提供了坚实的支撑。
imScale近期与 西门子PLM软件公司 和Tech Soft 3D达成技术合作,将行业领先的几何建模内核Parasolid及多格式CAD数据解析引擎HOOPS Exchange深度集成至平台中,全面增强CAD数据处理与互操作能力。
工业4.0优选产品 | 商业智能和绩效管理软件领导者,帮助企业成为业绩最佳的分析驱动型企业
SPSS Modeler工业4.0优选产品 | 在历史数据中发现规律以预测未来事件,做出更好的决策,实现更好的成效
IBM BigInsights for Apache Hadoop经济高效地存储、管理和分析大数据
IBM InfoSphere Streams高效捕获和分析动态数据的软件平台
InfoSphere DataStage助您发现、充实、集成和管理数据的整个生命周期
服务电话
重庆/ 023-68661681
华东/ 13452821722
华南/ 18100878085
华北/ 17347785263
客户支持
技术支持咨询服务
服务热线:400-700-1020
邮箱:sales@evget.com
关注我们
地址 : 重庆市九龙坡区火炬大道69号6幢
慧都科技 版权所有 Copyright 2003-
2025 渝ICP备12000582号-13 渝公网安备
50010702500608号