响应太慢

火了，但也慢了

我的 API 在社区里火了。

一个月后：

• 日调用量：10 万次（100 倍增长）
• 响应时间：2000ms（10 倍变慢）😰

用户开始抱怨：

• “你的 API 太慢了！”
• “有时候要等 3 秒才能返回”
• “能不能优化一下？”

每一条反馈我都看在眼里。那时候的我意识到：再不优化，这个产品就真的要死了。

调查

我决定调查问题原因。首先加了日志，记录每个请求的时间分布：

import time
import logging

@app.route('/api/weather')
def get_weather():
    start = time.time()

    city = request.args.get('city')
    logging.info(f'Start processing city: {city}')

    # 调用外部 API
    api_start = time.time()
    response = requests.get(f'{EXTERNAL_API_URL}?q={city}')
    api_time = (time.time() - api_start) * 1000
    logging.info(f'External API call: {api_time}ms')

    data = response.json()

    # 数据处理
    process_start = time.time()
    result = jsonify({
        'city': data['city'],
        'temperature': data['temp'],
        'condition': data['weather'],
        'humidity': data['humidity']
    })
    process_time = (time.time() - process_start) * 1000
    logging.info(f'Data processing: {process_time}ms')

    total_time = (time.time() - start) * 1000
    logging.info(f'Total time: {total_time}ms')

    return result

运行一天后，我查看日志统计：

时间分布统计：
- 外部 API 调用：1800ms
- 数据处理：50ms
- 网络开销：150ms
- 总计：2000ms

瓶颈找到了：外部 API 太慢！

更糟糕的消息

我查了一下外部 API 的文档，发现：

免费版限制：
- 每分钟调用次数：100 次
- 每天调用次数：10000 次

计算一下当前使用情况：

• 日调用量：10 万次
• 每分钟平均：10 万 / 24 / 60 ≈ 70 次/分钟

已经接近限制了！如果用户再增长，就会被限流。

那一刻我真的慌了。

思考

我有什么办法？

方案 A：付费升级外部 API

付费版可以提高限制，但成本会增加：

• 付费版：¥1000/月，1000 次/分钟

方案 B：换一个更快的外部 API

调研其他天气 API：

• API X：¥500/月，响应 500ms
• API Y：¥800/月，响应 300ms

方案 C：减少外部 API 调用

关键问题：同一个城市的天气，多久变化一次？

我查了一下气象数据：

• 温度：每小时变化 1-3 度
• 天气状况：几小时内基本不变
• 湿度：变化缓慢

结论：同一个城市，1 小时内的天气数据基本相同！

那为什么要重复调用？

数据分析

我分析了过去 24 小时的请求日志：

请求数据分析：
- 总请求数：100,000 次
- 不同城市数：50 个
- 平均每个城市：2000 次请求/天

最热门的城市：
- 北京：15000 次
- 上海：12000 次
- 深圳：10000 次

如果北京在 1 小时内被请求了 1500 次，我调用了 1500 次外部 API，但返回的是同样的数据！

这是巨大的浪费！

解决思路

在服务器上缓存结果！

核心思想：

• 第一次请求：调用外部 API，缓存结果
• 后续请求：直接返回缓存，不调用外部 API
• 缓存过期：1 小时后自动失效

当前技术架构