相关文章
[AWS]RDS数据库版本升级
背景:由于AWS上mysql5.7版本不再支持,需要进行版本升级。 吐槽:每年都要来那么几次,真的有病一样,很烦。 步骤一、升级检查
AWS提供了一个python的升级检测脚本,可以按照一下脚本下载测试:
[r…
建站知识
2025/2/27 19:01:06
基于深度学习的异常检测
基于深度学习的异常检测是一项重要的研究领域,主要用于识别数据中的异常样本或行为。异常检测广泛应用于多个领域,如网络安全、金融欺诈检测、工业设备预测性维护、医疗诊断等。传统的异常检测方法通常依赖于统计分析或规则,但随着数据复杂性…
建站知识
2025/3/6 14:25:50
Python爬虫进阶:高效数据采集的艺术
在当今数据驱动的世界里,高效的网络爬虫技术已经成为每个数据科学家和后端工程师的必备技能。本文将深入探讨一些高级的Python爬虫技术,这些技术不仅能够大幅提升你的爬虫效率,还能帮助你应对各种复杂的爬虫场景。
1. 异步爬虫:协…
建站知识
2025/3/5 21:29:10
阿里云验证码短信发送服务搭建(flask)
参考:https://next.api.aliyun.com/api-tools/sdk/Dysmsapi?version2017-05-25&languagejava-async-tea&tabprimer-doc
我们需要思考验证服务一些要求:
1.验证码只能被验证一次,所以需要状态字段 2.验证码有失效时间,超…
建站知识
2025/3/6 4:41:50
创建一个异步爬虫并将数据存入excel
事例网站链接: https://xk.scjgj.sh.gov.cn/xzxk_wbjg/#/tzdwSYDJList
一.数据获取流程
1️⃣对列表页请求获取有关详情页的字段值 2️⃣构造详情页的URL获取详情页数据 3️⃣将数据存入excel
二.异步代码
import asyncio
import logging
import pandas as pd
from aiohttp…
建站知识
2025/2/28 2:18:50