order by、sort by、distribute by、cluster by的区别

一:orderbyorderby会对输入做全局排序,因此只有一个Reducer(多个Reducer无法保证全局有序),然而只有一个Reducer,会导致当输入规模较大时,消耗较长的计算时间。关于orderby的详细介绍请参考这篇文章:HiveOrderby操作。二:sortbysortby不是全局排序,其在数据进入reducer前完成排序,因此,如果用sortb
阅读全文
Hive SQL常用优化策略 Hive

Hive SQL常用优化策略

Hive作为大数据领域常用的数据仓库组件,在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大,而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveSQL语句本身的优化,也包含Hive配置项和MR方面的调整。
阅读全文
本文目录
    Loading...