HiveSQL调优-最常用的调优方式 全球快讯
系统和其它层面:让经常where的字段进行分区,合理的多分桶、数据使用压缩、建宽表的时候用列式的orc存储、
(资料图片仅供参考)
开启严格模式:会产生笛卡尔积、order by排序后未加limit、查询分区表时未指定列的HiveSQL语句直接执行出错
开启列裁剪和分区裁剪:即只查询要读取的列和分区,避免全表扫描或全列扫描。
HiveSQL语句本身层面:
1.sort by去代替order by:order by需要全局排序,所有的map会进入到一个reduce里面。sort by是多个reduce局部有序。
2.group by来代替count distinct
3.union all时可以开启并发执行
4.小表在前,大表在后。小表驱动大表,小表可载入内存
5.调整Map和Reduce的个数
6.对task多,难以避免小文件的任务开启JVM重用
下一篇:最后一页
X 关闭
- 1、HiveSQL调优-最常用的调优方式 全球快讯
- 2、宝丰县前营乡:抵制高价彩礼 弘扬婚俗新风-世界动态
- 3、江西多地遭暴雨袭击是什么情况-全球时讯
- 4、【当前独家】4月汽车公司市值榜丨仅15家企业实现“飘红”,特斯拉缩水超两成,宁德时代重回“万亿俱乐部”
- 5、张掖家庭暴力纠纷律师如何收费
- 6、当前快报:玉环市一殡仪馆在外包餐厅“试菜” 结出违纪“苦果”
- 7、焦点热讯:火影:论天赋没人比得过他,风、水、雷三影打不过6岁的他
- 8、星球大战绝地幸存者科洛桑星改建场所4733道具在哪里_世界速讯
- 9、时讯:今日pd900钯金回收价格查询(2023年05月06日)
- 10、会计利润是什么意思_会计利润是什么 天天头条
-
天天快讯:618前京东低价策略再迈一步 近亿款商品单品直降
2023-05-06
-
迈湾水利枢纽工程垦区移民安置点(中坤项目)建设持续推进 看热讯
2023-05-06
-
真是一点战术地位都没有!湖人侧翼大将又一次打了酱油?
2023-05-06
-
每日讯息!深圳优化放宽混动指标车辆相关条件
2023-05-06
-
滚动:第二届中国(安徽)科交会1800多件科技成果集中亮相
2023-05-06

