请问数据仓库都用什么建立？
1、首先你得搞清楚建设数仓的目的是什么
是偏向于整合各系统数据，为数据分析决策服务，还是偏向于快速的完成分析决策需求？
如果是前者，那么在数据仓库建模的时候一般会选择ER建模方法；
如果是后者，一般会选择维度建模方法。
ER建模：即实体关系建模，由数据仓库之父BIll Inmon提出，核心思想是从全企业的高度去设计三范式模型，用实体关系描述企业服务。主张的是自上而下的架构，将不同的OLTP数据集中到面向主题的数据仓库中。
维度建模：由Kimball提出，核心思想是从分析决策的需求出发构建模型。这种模型由事实表和维表组成，即星型模型和雪花模型。Kimball倡导自下而上的架构，可以针对独立部门建立数据集市，再递增的构建，汇总成数据仓库。
2、其次你得进行深入的业务调研和数据调研
业务调研：深入的业务调研能使你更加明确数仓建设的目的；同时也利于后续的建模设计，随着调研的开展，如何将实体业务抽象为数仓模型会更加明朗。
数据调研：各部门或各科室的数据现状了解，包括数据分类、数据存储方式、数据量、具体的数据内容等等。这对后续的主数据串联或者维度一致性处理等等都是必须的基础。
3、然后是数据仓库工具选型
传统型数据仓库：一般会选择第三方厂家的数据库和配套ETL工具。因为有第三方支持，相对有保障；但缺点也很明显，受约束以及成本较高。
NoSQL型数据仓库：一般是基于hadoop生态的数据仓库。hadoop生态已经非常强大，可以找到各种开源组件去支持数据仓库。缺点是需要招聘专门人士去摸索，并且相对会存在一些未知隐患。
4、最后是设计与实施
设计：包括数据架构中的数据层次划分以及具体的模型设计；也包括程序架构中的数据质量管理、元数据管理、调度管理等；
实施：规范化的项目管理实施，但同时也需记住一点，数据仓库不是一个项目，它是一个过程。
如何使用Hadoop技术构建传统数仓
基于企业级传统数据仓库应用的特点和要求，以及Hadoop技术的原理和特点，在使用Hadoop大数据平台实现传统数仓应用的过程中，需要关注和解决的关键问题有很多，本文主要列举在以下几个核心问题和解决思路：模型和SQL支持、海量数据的存储和高效计算、高并发查询、事务支持。
1、模型和SQL支持
模型方面，原量收系统模型设计原则是基于中国邮政整体企业管理和业务管理的规则和流程，同时考虑到系统的扩展。为了便于理解，整个模型先按照数据仓库典型方式划分为接口贴源层、逻辑层和汇总层。接口贴源层按照接口来源各个系统进行划分，系统模型和源系统模型基本保持一致；逻辑层和汇总层则按照主题域进行划分。接口层模型与源业务系统基本一致，结构简单，关联度相对较低，大部分源业务系统使用Oracle数据库。基础层模型结构相对复杂，关联度相对较高，系统使用Teradata数据库，汇总层模型结构相对简单，关联度低，系统使用Teradata数据库。
中国邮政大数据平台选用的底层产品全面支持Oracle数据表模型，支持大部分的Teradata模型。但在实践过程中，从Teradata数据库向Hadoop平台进行模型迁移时，还是有许多特殊语法需要进行修订，下图为Teradata语法与Hadoop平台语法的对比和转换关系举例：
表3-1 Teradata语法与Hadoop平台语法的对比和转换关系举例
SQL方面，系统的报表查询和ETL加工采用了大量的复杂SQL。
中国邮政大数据平台选用的底层产品支持99%的ANSI SQL2003语法，也支持Oracle PL/SQL，包括完整的数据类型、流程控制、Package、游标、异常处理以及动态SQL执行，可以支持迁移大部分的语法和脚本。但在实践过程中，从Teradata数据库向Hadoop平台进行SQL迁移时，还是有许多特殊语法需要进行针对性改进，下表为Hadoop平台不支持的语法和问题举例：
表3-2 Hadoop平台不支持的语法和问题举例
上述问题需要在开发过程中进行针对性的产品更新或代码更新
2、海量数据的存储和高效计算
中国邮政大数据平台汇集了中国邮政各大业务系统的历史业务数据，需要经过T+1的数据处理得到分析和计算结果进行展示。因此需要对海量数据进行存储，并提供高效的数据计算。
中国邮政大数据平台的底层数据产品通过内存计算技术、高效索引、执行计划优化和高度容错的技术，能够处理从TB的数据，并且在数据量级上都能提供比现有技术更快的性能。
底层平台基于Spark的分析引擎，从下往上包含三层架构，底层是分布式内存列式存储，可建在内存或者SSD上，中间层是Spark计算引擎层，最上层包括一个完整的SQL99和PL/SQL编译器、统计算法库和机器学习算法库。因此可以分析存储在HDFS，HBase或者Holodesk分布式缓存中的数据，可以处理的数据量从GB到数十TB，即使数据源或者中间结果的大小远大于内存，也可高效处理。
同时，采用跨内存/闪存等介质的分布式混合列式存储，可用于缓存数据供Spark高速访问。小内存+SSD+磁盘的新方案可以提供跟大内存+磁盘的传统方案性能接近的交互式SQL分析能力。由于内存的价格是SSD的10倍，因此可以采用SSD来替代内存作为缓存，一方面可以增大分布式内存数据库Holodesk存储容量，另一方面可以降低成本，同时性能没有明显损失。
同时解决开源Spark在稳定性、可管理性和功能不够丰富上的问题。平台对Spark进行了大量的改进，极大提高了Spark功能和性能的稳定性。能稳定的运行7*24小时，并能在TB级规模数据上高效进行各种稳定的统计分析。
3、高并发查询
中国邮政大数据平台经过数据处理和汇总，为中国邮政各大业务板块各及机构提供数据报表和数据查询，用户数超过5万，并发数超过2千。因此需要解决高并查询的性能和效率问题。
中国邮政大数据平台的底层数据产品支持使用大表交互等一系列复杂的SQL分析语法操作。同时支持多种索引，包括全局索引（Global Index）、局部索引（Local Index）、高维索引（High-dimensionalIndex）以及全文索引（Full-textIndex）等；支持通过SQL进行复杂条件毫秒级高并发查询。
主要通过使用索引来加快数据的查询速度。包括三种索引：本地索引、全局索引、全文索引，支持索引的自动创建（在创建表时指定索引），也支持对已有表创建索引。索引的基本设计思想是对表中的需要经常作为查询条件的列建立一个映射到主数据的索引。查询时可以利用索引特性进行快速定位并返回查询结果。实验证明，通过使用索引，用户查询的响应速度可以达到原来的20～100倍。同时支持全局、局部、高维索引和高级过滤器，，满足在线存储和在线业务分析系统(OLAP)的低延时需求，实现高并发低延时的OLAP查询。
从事大数据开发需要具备哪些技能？
大数据开发一般要具备编程能力，就我从业3年多经验来看，有编程能力会获得更好的发展。
大数据开发一般有数仓开发、数据分析、数据开发三大类，每类要求的技能是不一样的。但是都有很多共通的技能。
通用的技能：除了具备基础的Sql能力以外，包括会用传统的Mysql、Oracle这种传统数据库，而且要会用Hive、Hbase这些基于分布式的数据库；当然Java编程能力是不可少的，其他方面的诸如Mapreduce和Spark也会就更好了。会用集群，集群除了问题有一定解决集群问题的能力。
数仓开发：要会数仓建模，维表、事实表、主题表、星型模型、雪花模型等等，要对业务非常熟悉，有全局观，才能建好数据仓库。
数据开发：数据开发有离线开发和实时开发，这种更偏向后端开发，类似java有需求就开发，加上平时对程序维护。
数据分析：这个要求sql功底强，如果能用python对数据分析那会更好了。要会用sqoop和kettle等这些常用的ETL工具，会用报表系统。
当然，如果你想学习，可以深入学习更多的东西。毕竟在平时开发的过程中，尤其是小公司分工不明确的情况下，这些技能或多或少都需要我们掌握的。就是一个人可以当几个人用，类似全栈工程师。
实时云数仓的技术原则有什么？
借鉴新兴技术，云计算提出了很多开发框架和一些新的IT技术，如微服务、容器等。提升安全保障，对于云计算中运行的数据库业务来说安全更是尤其重要。降低性能损耗，云主机中的CPU、内存都是虚拟化实现，与传统数据库独占物理机的性能是不一样的，因此在考虑运行环境时，要尽量减少不必要的性能损耗。以上是参考柏睿实时云数仓的技术原则。可以百度搜索，获得更多相关信息题主大大采纳下我呗
大数据开发工程师需掌握哪些技能?
一、数仓开发
1，Java是必问的，不过问的不深，把Javase部分吃透，足以应付Java部分的面试。
2，Hadoop生态，Yarn、Zookeeper、HDFS这些底层原理要懂，面试经常被问。
3，Mapreduce的shuffle过程这个也是面试被常问的。
4，Hbase和HIve，搞大数据这些不懂真的说不过去。
5，Mysql、Oracle和Postgres数据库操作要回，Sql要会写。
6，linux操作系统，这个简单得命令必须要懂，会写shell脚本更好了。
7，Kettle或Sqoop这种数据处理工具至少要会一个。
8，数据仓库建模、数据模型的问题。
二、技术方面
1，SparkSql和SparkStreaming，底层原理、内核、提交任务的过程等等，尽量深入内幕，这个经常会跟MapReduce作比较的。当然也要了解Storm和Flink，Flink这个建议要学会，以后用处会越来越广。
2，Redis、Kafka、ElasticSearch这些都得懂原理，深入了解，会使用，会操作，会调优。
3，impala和kylin这些尽量也要了解会用。
4，Python这个要是有能力，有精力，建议也要往深处学习，我目前正在自学中。
5，集群的问题，包括一些简单的运维知识。
6，大数据数据倾斜的问题，包括Spark JVM内存调优问题等等。
关于大数据开发工程师需掌握哪些技能，青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣，希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。
数据仓库的技术结构有哪些?
是这个么
不懂哎
O(∩_∩)O~
(一)
数据源
是
数据仓库
系统的
基础
，是整个系统的数据源泉。通常包括企业
内部信息
和
外部信息
。内部信息包括存放于RDBMS中的各种业务处理数据和各类
文档
数据。外部信息包括各类法律法规、
市场信息
和
竞争对手
的信息等等;
(二)数据的存储与管理
是整个数据仓库系统的
核心
。数据仓库的真正
关键
是数据的存储和管理。数据仓库的组织管理方式决定了它有别于
传统数据库
，
同时
也决定了其对
外部数据
的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的
覆盖范围
可以分为
企业级数据仓库
和部门级数据仓库(通常称为
数据集市
)。
(三)OLAP(联机分析处理)
服务器
对分析需要的数据进行有效集成，按多维
模型
予以组织，以便进行
多角度
、多层次的分析，并发现
趋势
。其具体实现可以分为:ROLAP(关系型在线分析处理)、MOLAP(多维在线分析处理)和HOLAP(混合型线上分析处理)。ROLAP基本数据和
聚合数据
均存放在RDBMS之中;MOLAP基本数据和聚合数据均存放于
多维数据库
中;HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。
(四)
前端
工具
主要包括各种
报表工具
、查询工具、数据分析工具、
数据挖掘工具
以数据挖掘及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。