Hive中常用query--关联/聚合/去重/排序举例

在Hive中，可以使用各种查询来执行关联（JOINs）、聚合（Aggregations）、去重（Distinct）和排序（Sorting）操作。以下是一些常见的查询示例：

关联（JOIN）：

在Hive中执行关联操作通常是为了将两个或多个表中相关的行连接起来。

SELECT e.name, e.salary, d.department_name
FROM employees e
JOIN departments d ON e.department_id = d.department_id;

这个查询将 employees 表和 departments 表进行关联，通过 department_id 字段来匹配相关行，并选择员工的姓名、薪水以及所在部门的名称。

聚合（Aggregations）：

聚合操作通常用于计算总和、平均值、计数等。

SELECT department_id, COUNT(*) as num_employees, AVG(salary) as avg_salary
FROM employees
GROUP BY department_id;

这个查询按 department_id 对员工进行分组，并计算每个部门的员工数量和平均薪水。

去重（Distinct）：

去重操作用于查询表中唯一的行。

SELECT DISTINCT department_id
FROM employees;

这个查询列出了 employees 表中所有独特的 department_id。

排序（Sorting）：

排序操作用于根据一个或多个列的值对结果进行排序。

SELECT name, salary
FROM employees
ORDER BY salary DESC;

这个查询选择所有员工的姓名和薪水，并按薪水降序排列。如果想要升序排列，可以使用 ASC 或省略排序方向（默认为升序）。

综合示例：

以下是一个更复杂的查询，它结合了关联、聚合、去重和排序操作：

SELECT d.department_name, COUNT(DISTINCT e.id) as num_employees, AVG(e.salary) as avg_salary
FROM employees e
JOIN departments d ON e.department_id = d.department_id
GROUP BY d.department_name
ORDER BY num_employees DESC;

这个查询显示了每个部门的名称、员工数量和平均薪水，并按员工数量降序排列。这里使用了 COUNT(DISTINCT e.id) 来确保去重计数员工的数量。

请注意，Hive查询的语法和行为可能受到你使用的Hive版本和配置的影响。在执行实际查询之前，请确保你的Hive环境已经正确设置。