私密记录-gz

# ROW_NUMBER 窗口函数优化：使用 GROUP BY + 聚合函数替代

## 问题背景

在 MaxCompute/ODPS 中，经常使用 `ROW_NUMBER() OVER(PARTITION BY ...) + WHERE rk = 1` 的模式来进行分组取第一条记录的操作。但当分区键存在数据倾斜（某些 key 出现次数过多）时，会导致单个 reducer 处理数据量过大，造成长尾任务，严重影响性能。

### 典型的慢查询模式

```sql
SELECT 
    * EXCEPT(rk)
FROM 
(
    SELECT 
        *,
        ROW_NUMBER() OVER(PARTITION BY url ORDER BY IF(anchor_text != '', 1, 2)) AS rk
    FROM 
        source_table
)
WHERE 
    rk = 1
```

**性能问题原因：**
1. **数据倾斜**：热门 url 记录过多，单个 reducer 负载过重
2. **排序开销**：窗口函数需要对每个分区内的数据进行排序
3. **全量扫描**：需要计算所有行的 rk 值，再过滤

---

## 优化方案

### 方案一：GROUP BY + MAX_BY/MIN_BY（推荐）

MaxCompute 支持 `MAX_BY(value, order_key)` / `MIN_BY(value, order_key)` 聚合函数，可以直接获取满足排序条件的行，避免 ROW_NUMBER 的排序开销。

**优化前：**
```sql
SELECT 
    source_host,
    source_url,
    url,
    url_analyze(url, False) AS url_analyze_result,
    url_from,
    anchor_text,
    source_biz_code,
    source_parse_lang,
    refer_num,
    source_html_classification_tag
FROM
(
    SELECT 
        source_host,
        source_url,
        url,
        url_from,
        anchor_text,
        source_biz_code,
        source_parse_lang,
        source_html_classification_tag,
        COUNT(1) OVER(PARTITION BY url) AS refer_num,
        ROW_NUMBER() OVER(PARTITION BY url ORDER BY IF(anchor_text != '', 1, 2)) AS rk
    FROM source_table
)
WHERE rk = 1
```

**优化后：**
```sql
SELECT 
    MAX_BY(source_host, IF(anchor_text != '', 1, 0)) AS source_host,
    MAX_BY(source_url, IF(anchor_text != '', 1, 0)) AS source_url,
    url,
    url_analyze(url, False) AS url_analyze_result,
    MAX_BY(url_from, IF(anchor_text != '', 1, 0)) AS url_from,
    MAX(IF(anchor_text != '', anchor_text, '')) AS anchor_text,
    MAX_BY(source_biz_code, IF(anchor_text != '', 1, 0)) AS source_biz_code,
    MAX_BY(source_parse_lang, IF(anchor_text != '', 1, 0)) AS source_parse_lang,
    COUNT(1) AS refer_num,
    MAX_BY(source_html_classification_tag, IF(anchor_text != '', 1, 0)) AS source_html_classification_tag
FROM source_table
GROUP BY url
```

### 方案二：GROUP BY + ANY_VALUE（无排序要求时）

当只需要去重、不关心取哪一条时，使用 `ANY_VALUE` 更简单：

**优化前：**
```sql
SELECT * EXCEPT(rk)
FROM (
    SELECT 
        *,
        ROW_NUMBER() OVER(PARTITION BY url) AS rk
    FROM source_table
)
WHERE rk = 1
```

**优化后：**
```sql
SELECT 
    ANY_VALUE(host) AS host,
    url,
    ANY_VALUE(url_analyze_result) AS url_analyze_result,
    ANY_VALUE(anchor_text) AS anchor_text
    -- ... 其他字段
FROM source_table
GROUP BY url
```

### 方案三：复杂排序场景 - 构造排序键

当排序条件复杂时（如 `ORDER BY insert_date ASC, weight DESC, type DESC`），可以构造字符串排序键：

**优化前：**
```sql
SELECT * EXCEPT(rk)
FROM (
    SELECT 
        *,
        ROW_NUMBER() OVER(
            PARTITION BY url 
            ORDER BY insert_date, weight DESC, IF(outlink_url_from='content', 2, 1) DESC
        ) AS rk
    FROM source_table
)
WHERE rk = 1
```

**优化后：**
```sql
SELECT 
    url,
    -- 构造排序键：insert_date ASC, weight DESC (用100-weight转升序), content优先
    MIN_BY(host, CONCAT(insert_date, LPAD(CAST(100-weight AS STRING), 3, '0'), IF(outlink_url_from='content', '1', '2'))) AS host,
    MIN_BY(url_type, CONCAT(insert_date, LPAD(CAST(100-weight AS STRING), 3, '0'), IF(outlink_url_from='content', '1', '2'))) AS url_type,
    -- ... 其他字段类似
FROM source_table
GROUP BY url
```

### 方案四：STRUCT 排序技巧（备选）

如果 `MAX_BY` 不可用，可以使用 STRUCT 排序：

```sql
SELECT 
    url,
    MAX(STRUCT(
        IF(anchor_text != '', 1, 0),  -- 排序键
        source_host,
        source_url,
        url_from,
        anchor_text
    )).col2 AS source_host,
    -- col3, col4, col5 获取其他字段
FROM source_table
GROUP BY url
```

---

## 配套优化参数

```sql
-- 开启 Group By 倾斜优化
set odps.sql.groupby.skewindata=true;

-- 开启 Join 倾斜优化
set odps.sql.skewjoin=true;

-- 调整 reducer 数量和内存
set odps.stage.reducer.num=10000;
set odps.stage.reducer.mem=4096;
```

---

## 优化效果对比

### 场景一：outlink 表去重

**优化前日志：**




**优化前执行时间：**




**优化后日志：**




**优化后执行时间：**




### 场景二：urls_step1 多数据源合并去重

**优化前日志：**




**优化前执行时间：**




**优化后日志：**




**优化后执行时间：**




---

## 总结

| 原写法 | 优化写法 | 适用场景 |
|-------|---------|---------|
| `ROW_NUMBER() + WHERE rk=1` | `GROUP BY + MAX_BY/MIN_BY` | 需要按条件取第一条 |
| `ROW_NUMBER() + WHERE rk=1` | `GROUP BY + ANY_VALUE` | 只需去重，不关心取哪条 |
| 复杂多字段排序 | 构造字符串排序键 + `MIN_BY` | 多字段混合升降序 |

**核心优势：**
1. 避免窗口函数的排序开销
2. GROUP BY 可以利用 Hash 聚合，并行度更高
3. 配合 `odps.sql.groupby.skewindata=true` 可自动处理数据倾斜

ROW_NUMBER窗口函数优化

> https://linux.do/t/topic/1501046


### 心得

**只为本人经验分享，内容仅作参考，以下方法均只能保证本人有效，不保证所有人都适用，如果你不认同，以你为准**

首先贴一句我认为减肥最重要的一段话吧，尤其是对大基数而言：

> 你为什么这么胖，这完全是你**基因**决定的，基因让你就是**更容易比其他人馋**，胃口就是比别人好，无论你后面瘦到什么程度，基因给你食欲带来的影响都会**伴随你的一生**。
>
>
>
> 因此，**你的减肥路上是没有终点的**，你只要产生哪怕一点减完后就可以随便吃的想法，无论那时你减到什么程度，都会立马反弹，**甚至会反弹到比你最胖的时候还要再胖很多，很多**。
>
>
>
> 无论你想用什么方法去减肥，你都要放弃幻想，先思考一下改变后的饮食方式，运动强度，能不能让你坚持**一辈子**，否则，无论你减多少次，最后的结果一定都是失败。

---

具体吃和练的细则我就不啰嗦了，B 站有太多优质健身 up 主，他们出的减脂视频和网课一样长达一两个小时，而且还图文并茂啥细节都告诉你，干货肯定比我纯文字一通讲要多得多，也更好吸收。

我先分享几点我在这段时间体会到比较重要的点：

- **不追求体脂的极限或练得特别大，就不要算热量吃减脂餐** 热量差是减肥最关键的数据，你必须了解热量的最基本知识，但很可惜大多数情况下，**你根本没法算热量**，尤其是日常去食堂小档口吃饭，你再怎么细致地去把每种食材都单独扣出来一点点地去分析加算，你也没办法去猜到老板到底放了这顿菜放了多少油放了多少调料。就算你是自己再家做，顿顿上称算精确热量也会迟早把你折磨疯掉，你减肥是找一种能坚持一生的健康平衡的饮食方式，**而不是没完没了的抠不必要的细节。**
- **不算热量不代表你就可以凭感觉吃了**很多胖子对自己的饭量完全没有概念，特别是当他们饿肚子的时，他们能吃下远超自己预估的饭菜量还经常拒不承认，用 x 分饱这种说法来给你每餐定量是完全不准确的。你需要做的是至少在减肥的头两个月**每餐都带上食物称**，给自己定好量吃，等你能做到一眼就能看出重量的时候才可以 “凭感觉”。我最开始的定量是 400g 饭 (纯白饭，不能加任何一点其他的酱料和汤汁) 300g 肉 (只要有肉蛋豆的菜不管肉含量怎么样都算进里面，番茄炒蛋连番茄带一起是 300g 那就吃 300g，纯卤鸡腿量出来是 300g 那也吃 300g。)**一天只吃两顿**时间安排随意，能保证自己一整天都不会饿到受不了就行。素菜 (纯素清炒那种，带一点肉都不算) 不限量。我每餐这样吃，能一直钓成到 145 斤，可以给大家参考一下

> 上面说的 “减脂餐”，是指鸡胸肉西蓝花类似这种的轻食店标配，如果你本身就比较爱吃这些食材那当我没说，但事实是绝大部分人尤其是胖子都会觉得这种 “减脂餐” 过于难吃了，你绝对不可能做到坚持一辈子…… 大基数减肥，家常菜就足够了，只需要确保菜里没有**绝对不能吃的食材（参考下列表格）**
我自己减肥期间绝对不会吃的食物清单（非常重要）

只是代表我自己不吃，没有说减肥一定不能吃这些东西，我约束的比较多，大家按照自己的情况定就行了

> * 所有非零卡的零食
> * 所有非零卡的饮料 (注意是零卡不是零糖)
> * 所有油炸，油焖做法的食物
> * 所有面包蛋挞等等烘焙品
> * 所有冰淇淋巧克力等甜品
> * 淀粉菜 (包括但不限于茄子，土豆，红薯，山药，玉米，南瓜，黄豆……)
> * 红肉中肥肉超过 30% 部位 (包括但不限于猪五花，牛五花，猪内脏，羊油……)
> * 白肉中纯肥的部位 (鸡爪，鸭掌……)
> * 所有坚果
> * 除圣女果黄瓜外的所有水果
> * 包子，汤圆，饺子等等带馅的深加工食品

---

* **不要给自己主动安排欺骗餐**不要以 “提高基础代谢” 为理由去给自己每段时间特意安排欺骗餐。大部分胖子一顿欺骗餐随随便便就能干七八千卡，提升的基础代谢绝对没办法把这堆热量补救回来。
而且大概率你每个月总会因为各种各样的原因去参加聚餐，等到那时候稍微放开一点解解馋就够了，只要你一个月聚餐没超过两次，每次聚餐都不是完全胡吃海喝完全放飞自我，对整个减肥时间线来说影响都是不大的，聚完餐也不要补救，以前正常该怎么吃怎么练，后面照常就行饿了。
当然，如果你想减得又快又好，能不聚餐就别去聚餐，而且说实话，如果你一个月很容易聚超过四次餐，那么减肥也与你没什么关系了。
* **不要吃盖浇饭，米饭和饭菜要严格分开**中餐本身就是偏油的料理，如果你在外面吃的话放油量更是会像不要钱那样加，但好在大部分的肉菜并不会完全吸收，很多油都会沉降到汤汁里，但如果你吃盖浇饭甚至是拌饭的话，那基本上就等于把炒菜放油脂全部又吸回去，怎么可能不会胖，所以我不推荐你减肥时在外面吃粉面类，你吃饭类快餐让老板饭菜分开很容易，但是你很难让面馆老板给你面菜分开，何况很多面馆里光面汤就已经够油了……
* **吃所有的肉记得去皮剃肥**我知道你吃的是平价盒饭，没有哪个老板会闲的没事去完皮再给你上菜，但不代表你就可以这样算了，你一定得把皮给剃了，不仅皮要去，像鸭腿这种皮下面还有厚厚一层脂肪，你也必须剃了，如果已经吃到嘴里面了，你就把它给吐出来，这没什么难的，吐鱼骨头大家都这么熟练，怎么吐皮就不会了呢。可以剃的不干净，但是只要见到肥肉，就一定得剃
* **九分吃一分练，但这一分非常重要**我自己是完全放弃了无氧，有氧强度也很一般，基本就是一周抽个五天每天跑 3km，说是跑但是我配速平均只有 5:30，基本就是遛弯。我最胖时期跑都跑不了，下楼散步 3km 就完事了。~~不过我完全瘦下来后可以随便很轻松用 4:30 的配速跑完 5km 了~~这点强度消耗的热量确实完全不够看，论热量而言，九分吃一分练这样的说法是没什么问题的。但是不代表你就可以不运动不做有氧了，这点运动量虽然低但也是有两三百卡，**如果换成纯饿来创造这个缺口的话，折磨实际会比有氧多很多很多**…最关键的是，养成有氧的习惯能给你带来除了食物以外的排解情绪手段，你养成运动的习惯，才能更好接受我最开始写的那些约束。不过还是要明白，练只是一分，没有练大或者极低体脂的执念，**别把运动的量看得这么重要**，运动途中感觉膝盖或者脚踝有任何不适，马上停下来休息个两天三天再说。别把自己整成残疾了
* **保持良好作息和睡眠**睡眠质量在减肥中比你想象中还要大，虽然它不制造热量差，但我亲身实践，只要你一段时间都没怎么睡好，你的饥饿感就会短时间内攀到顶峰，瞬间瓦解你的心理防线让你不由自主地狂吃，所以睡眠不好的老哥想要开始减的话希望你能优先解决睡眠的问题




减肥心得-来源L站

## 生产
```sql
CREATE TEMPORARY TABLE odps_source (
    url VARCHAR,
    dt VARCHAR,
    page_type VARCHAR,
    biz_code VARCHAR,
    host VARCHAR,
    id VARCHAR,
    insert_hour VARCHAR
) WITH (
    'connector' = 'odps',
    'endpoint' = 'https://service.cn-shanghai-vpc.maxcompute.aliyun-inc.com/api',
    'tunnelEndpoint' = 'https://dt.cn-shanghai-vpc.maxcompute.aliyun-inc.com',
    'project' = 'xxx',
    'tableName' = 'xxx',
    'accessId' = '${secret_values.ak}',
    'accessKey' = '${secret_values.sk}',
    'startPartition' = 'ymd=2025-12-04,hour=15' -- 从20180905对应分区开始读取
);

CREATE TEMPORARY TABLE kafka_dynamic_sink(
    id string,
    url string,
    dt string,
    page_type string,
    biz_code string,
    dynamic_topic STRING METADATA FROM 'topic',
    PRIMARY KEY(id) NOT ENFORCED
)WITH(
    'connector'='upsert-kafka',
    'topic-pattern' = 'xxx.*', 
    'properties.bootstrap.servers' = 'xxx',
    'key.format'='raw',
    'value.format'='json',
    'value.fields-include' = 'EXCEPT_KEY'
);

INSERT INTO kafka_dynamic_sink
SELECT 
    id,
    url,
    dt,
    page_type,
    biz_code,
    CONCAT('xxx_', insert_hour) AS dynamic_topic -- 根据字段动态决定生产到哪个topic
FROM 
    odps_source;

```
## 消费
```sql

CREATE TEMPORARY TABLE `log_from_kafka` (
    url string,
    batch_id string,
    task_id string,
    status string,
    `error` string,
    status_code bigint,
    `ts` TIMESTAMP_LTZ(3) METADATA FROM 'timestamp' VIRTUAL
) WITH (
  -- 定义 Kafka 参数
  'connector' = 'kafka',
  'topic' = 'xxx',
  -- 替换为您要消费的 Topic
  'scan.startup.mode' = 'latest-offset',
  -- 'scan.startup.timestamp-millis' = '1764000000000',
  -- 可以是 latest-offset / earliest-offset / specific-offsets / group-offsets / timestamp 的任何一种
  'properties.bootstrap.servers' = 'xxxx',
  -- 替换为您的 Kafka 连接地址
  'properties.group.id' = 'GID_xxx',
  -- 必选参数, 一定要指定 Group ID
  -- 定义数据格式 (JSON 格式)
  'format' = 'json',
  'json.fail-on-missing-field' = 'false',
  -- 如果设置为 false, 则遇到缺失字段不会报错。
  'json.ignore-parse-errors' = 'true' -- 如果设置为 true，则忽略任何解析报错。
);

CREATE TEMPORARY TABLE `sink_table` (
  --步骤 2 ：创建数据结果表（Sink） Data_Output
    url string,
    batch_id string,
    task_id string,
    status string,
    `error` string,
    status_code bigint,
    ts TIMESTAMP(3),
    `ymd` string COMMENT '分区，yyyymmdd',
    `hour` string 
) WITH (
    'connector' = 'odps'
    ,'endpoint' = 'https://service.cn-shanghai-vpc.maxcompute.aliyun-inc.com/api'
    ,'tunnelEndpoint' = 'https://dt.cn-shanghai-vpc.maxcompute.aliyun-inc.com'
    ,'project' = 'xxx'
    ,'tableName' = 'xxx'
    ,'accessId' = '${secret_values.ak}'
    ,'accessKey' = '${secret_values.sk}'
    ,'dynamicPartitionLimit' = '10000'
    ,'partition' = 'ymd,hour'
);

INSERT INTO
  `sink_table`
SELECT
    url,
    batch_id,
    task_id,
    status,
    `error`,
    status_code,
    ts,
    DATE_FORMAT(FROM_UNIXTIME(UNIX_TIMESTAMP()), 'yyyyMMdd') as ymd,
    DATE_FORMAT(FROM_UNIXTIME(UNIX_TIMESTAMP()), 'HH') as `hour`
FROM
  `log_from_kafka`;

```

flink-生产消费kafka数据

# 场内外关系维护
## 1. 打开支付宝，到理财界面，点击总资产，下一步点击我的资产，点击右上角客服
- 输入 联系蚂蚁基金客服
- 选择在线客服
- 输入 查询场外基金账户 
- 白银基金账户： 161226
- 等待回复

![Clipboard_Screenshot_1769052577.png](http://blog.tools.uuin.vip/static/img/74e36b5e08929bd6092de04805ab2fe8.Clipboard_Screenshot_1769052577.webp)

![Clipboard_Screenshot_1769052711.png](http://blog.tools.uuin.vip/static/img/1c871493cb4b7132eea4d6d61852ed3d.Clipboard_Screenshot_1769052711.webp)


## 2. 打开证券APP，登录之后，点击客服

![Clipboard_Screenshot_1769052317.png](http://blog.tools.uuin.vip/static/img/21cd93f936792aeb7b5a0c7f172c53f6.Clipboard_Screenshot_1769052317.webp)
## 3. 与智能客服对话，输入场内外 会跳出提示词 选择即可
- 点击下方按钮，进入关系维护
- 点击建立关联，选择账户即可


![Clipboard_Screenshot_1769052435.png](http://blog.tools.uuin.vip/static/img/ecb438b8e60f65182c0ec1b518b32326.Clipboard_Screenshot_1769052435.webp)

![Clipboard_Screenshot_1769052445.png](http://blog.tools.uuin.vip/static/img/934f457b9b4317f3b96ebba016fe33f2.Clipboard_Screenshot_1769052445.webp)

![Clipboard_Screenshot_1769052767.png](http://blog.tools.uuin.vip/static/img/401f76808efd8a98efb9011ae9ee5abf.Clipboard_Screenshot_1769052767.webp)
# 场外转场内
## 1. 找基金经理要席位号
## 2. 找到支付宝客服 ，点击左下角转托管即可

![Clipboard_Screenshot_1769053047.png](http://blog.tools.uuin.vip/static/img/d15613d3f64dd3d3544c14683ae7fb4f.Clipboard_Screenshot_1769053047.webp)