首页 > 数据库 > SQL on Hadoop
关于HBase2.0,看这一篇文章就够了
作者 | 个推大数据运维工程师 行者升级背景个推作为专业的数据智能服务商,在业务开展过程中存在海量的数据存储与查询的需求,为此个推选用了高可靠、高性能、面向列、可伸缩的分布式数据存储系统——HBase。然而,运行HBase老集群(使用HBase1.0版本)多年后,遇到了两大问题:各节点基础环境不一致;该集群的服务器运行多年已过保。而且随着个推业务量增长,性能方面也开始遇到瓶颈。经过综合
快速开发平台能带来什么价值
当前,很多中小企业没有过多资深的技术人员,导致很多项目没有办法去承包,当然,部分大企业也会遇到这种问题。
这些Python学习的步骤和诀窍,你听过吗?
很多零基础的朋友在学习Python的时候都会面临各种各样的疑问,怎么入门Python?如何深化学习?怎么在学习Python的时候更容易快速上手?下面武汉Python培训专家就给大家介绍一个Python学习的步骤和诀窍,希望这个Python快速入门教程能帮到大家。 一:明确自己的学习目标。不管我们学习什么样的知识,都要对自己的学习目标有一个明确的认识。只有这样才能朝着目标持续的
【Hive】hive数据迁移
背景:现将hive 数据从aws迁移至阿里云1.登录目前hive,导出数据源端导出数据 exporttablecollection_serverto'/tmp/collection_server'; 查看 [hadoop@ip-172-31-33-52tmp]$hadoopfs
sqoop小作业
实现需求:1) city_info表存在MySQL 2) product_info表存在MySQL3) user_click数据导入Hive4) 三表的join 取TOP3(按区域进行分组)按天分区表5) 查询结果导入到MySQL数据库最终的统计结果字段如下:product_id 商品IDproduct_name 商品名称area 区域click_count 点击数/访问量rank ...
sqoop部署及导入与导出
1.sqoop安装? ??CDH之sqoop下载地址:http://archive.cloudera.com/cdh5/cdh/5一.下载及环境配置wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gztar -zxvf?/sqoop-1.4.6-cdh5.7.0.tar.gz?-C ~/app[hadoop@hadoop001 conf]$ vim ~/.bash_profileexport ...
【大数据】— sqoop ?
sqoop介绍
Hive常用函数及自定义函数
前言: HQL常用函数语法和RDBMS语法相似 官网参考: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF一.Hive自带函数--...
DDL&DML常用的HQL
官网: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL Hive Data Manipulation Language 3.创建测试数据[hadoop@hadoop001 ~]$ cat /home/hadoop/data/1.txt 1 aa1 bb...
Hive-1.1.0-cdh5.7.0安装部署
Hive-1.1.0-cdh5.7.0安装部署
最爱吃的菜,‘最后的记忆’。
人生感悟
通关TPC-DS,中国数据库领域首破纪录诞生!
“不服跑个分?”是一个老梗了。虽然,我们不能盲目崇信跑分,但跑分的确是一种比较直观反映软硬件性能的方式。不过,相比手机跑个分,数据库性能测试却要复杂的多……
sh调用sh(串行和并行调度)
sh调用sh(串行和并行调度)
创建sh调用hive程序
创建sh调用hive程序
hive程序脚本样本
hive程序脚本样本
sqoop同步hdfs到关系库
sqoop同步hdfs到关系库