原创不易，完成人机检测，阅读全文

在现代Web爬虫开发中，如何优雅地处理HTTP请求、实现高并发、管理代理池、处理Token认证，一直是开发者面临的核心挑战。
今天为大家带来一个生产级的异步HTTP请求装饰器实现——它将复杂的请求逻辑封装成简洁的装饰器模式，不用重复写重试、代理、超时代码，让爬虫开发变得高效又优雅，新手也能快速上手！

爬虫HTTP请求不用愁？揭秘爬虫框架的异步请求装饰器模块

作为一名爬虫工程师，最头疼的莫过于和各类反爬虫系统斗智斗勇。这次我撞上了SafeLine WAF（Web应用防火墙）——每次请求都返回468状态码，页面死死卡在“正在验证您的浏览器...”，寸步难行。

炸裂！我用AI逆向了SafeLine WAF反爬系统，全程无手写一行代码

写爬虫时，你是不是也经常遇到这些问题？
• 每次都要写INSERT INTO、UPDATE，烦不烦？
• 网络波动导致批量插入失败，几十条数据瞬间丢失？
• 断点续采时重复数据覆盖了之前保存的字段？
• 既要存详情页，又要存列表页，还要存关联实体，代码越写越乱？
今天分享一个基于装饰器的轻量级MySQL存储模块，来自我们正在使用的爬虫框架。它的核心理念是：让数据持久化像写日志一样简单。
你只需要在爬虫函数上加一行@save_into_mysql，剩下的——连接池、事务、去重、失败重试、本地降级……统统交给它。

🚀 一行代码搞定数据存储？揭秘爬虫框架的MySQL存储模块

在数据采集的世界里，效率就是生命。传统的同步爬虫在面对大规模数据采集时往往力不从心，而本文将带你深入了解一个**生产级轻量级异步爬虫框架**的完整设计与实现。

从零开始构建轻量级Python爬虫框架：异步并发实战指南

 Python同步操作MySQL基础类

 Python同步操作redis基础类

在写代码尤其是开发商业项目的时候，一定要有意识的**将相对独立且重复使用的功能封装成函数**，这样不管是自己还是团队的其他成员都可以通过调用函数的方式来使用这些功能，减少工作中那些重复且乏味的劳动。

函数应用实战

Python 中可以使用def关键字来定义函数，和变量一样每个函数也应该有一个漂亮的名字，命名规则跟变量的命名规则是一样的（大家赶紧想想我们之前讲过的变量的命名规则）。在函数名后面的圆括号中可以设置函数的参数，也就是我们刚才说的函数的自变量，而函数执行完成后，我们会通过return关键字来返回函数的执行结果，这就是我们刚才说的函数的因变量。如果函数中没有return语句，那么函数会返回代表空值的None。另外，函数也可以没有自变量（参数），但是函数名后面的圆括号是必须有的。一个函数要做的事情（要执行的代码），是通过代码缩进的方式放到函数定义行之后，跟之前分支和循环结构的代码块类似

函数和模块

迄今为止，我们已经为大家介绍了 Python 中的三种容器型数据类型（列表、元组、集合），但是这些数据类型仍然不足以帮助我们解决所有的问题。例如，我们需要一个变量来保存一个人的多项信息，包括：姓名、年龄、身高、体重、家庭住址、本人手机号、紧急联系人手机号，此时你会发现，我们之前学过的列表、元组和集合类型都不够好使。

常用数据结构之字典

在了解了列表和元组之后，我们再来学习一种容器型的数据类型，它的名字叫集合（set）。说到集合这个词大家一定不会陌生，在数学课本上就有这个概念。如果我们**把一定范围的、确定的、可以区别的事物当作一个整体来看待**，那么这个整体就是集合，集合中的各个事物称为集合的**元素**。通常，集合需要满足以下要求：

常用数据结构之集合

第二次世界大战促使了现代电子计算机的诞生，世界上的第一台通用电子计算机名叫 ENIAC（电子数值积分计算机），诞生于美国的宾夕法尼亚大学，占地167平米，重量约27吨，每秒钟大约能够完成约5000次浮点运算，如下图所示。ENIAC 诞生之后被应用于导弹弹道的计算，而数值计算也是现代电子计算机最为重要的一项功能。

常用数据结构之字符串

前面的两篇文章，我们为大家讲解了 Python 中的列表，它是一种容器型的数据类型，通过列表类型的变量，我们可以保存多个数据并通过循环实现对数据的批量操作。当然，Python 中还有其他容器型的数据类型，接下来我们就为大家讲解另一种容器型的数据类型，它的名字叫元组（tuple）。

常用数据结构之元组

在开始本节课的内容之前，我们先给大家一个编程任务，将一颗色子掷 6000 次，统计每种点数出现的次数。这个任务对大家来说应该是非常简单的，我们可以用 1 到 6 均匀分布的随机数来模拟掷色子，然后用 6 个变量分别记录每个点数出现的次数，相信通过前面的学习，大家都能比较顺利的写出下面的代码。

常用数据结构之列表

通过前面两节课的学习，大家对 Python 中的分支结构和循环结构已经有了初步的认知。**分支结构和循环结构是构造程序逻辑的基础**，它们的重要性不言而喻，但是对于初学者来说这也是比较困难的部分。很多人对分支结构和循环结构的语法是能够理解的，但是遇到实际问题的时候又无法下手；**看懂别人的代码很容易，但是要自己写出类似的代码却又很难**。如果你也有同样的问题和困惑，千万不要沮丧，这只是因为你的编程之旅才刚刚开始，**你的练习量还没有达到让你可以随心所欲写出代码的程度**，只要加强编程练习，通过量的积累来产生质的变化，这个问题迟早都会解决的。

分支和循环结构实战

本章简要回顾我们到现在为止学到的 JavaScript 特性，并特别注意了一些细节。

JavaScript 特性

创建函数还有另外一种非常简单的语法，并且这种方法通常比函数表达式更好。
它被称为“箭头函数”，因为它看起来像这样：

箭头函数，基础知识

在 JavaScript 中，函数是一个值，所以我们可以把它当成值对待。上面代码显示了一段字符串值，即函数的源码。
的确，在某种意义上说一个函数是一个特殊值，我们可以像 sayHi() 这样调用它。
但它依然是一个值，所以我们可以像使用其他类型的值一样使用它。

函数表达式

我们经常需要在脚本的许多地方执行很相似的操作。
例如，当访问者登录、注销或者在其他地方时，我们需要显示一条好看的信息。
函数是程序的主要“构建模块”。函数使该段代码可以被调用很多次，而不需要写重复的代码。
我们已经看到了内建函数的示例，如 alert(message)、prompt(message, default) 和 confirm(question)。但我们也可以创建自己的函数。

函数

switch 语句可以替代多个 if 判断。
switch 语句为多分支选择的情况提供了一个更具描述性的方式。

"switch" 语句

我们经常需要重复执行一些操作。
例如，我们需要将列表中的商品逐个输出，或者运行相同的代码将数字 1 到 10 逐个输出。
循环 是一种重复运行同一代码的方法。

循环：while 和 for

空值合并运算符（nullish coalescing operator）的写法为两个问号 ??。
由于它对待 null 和 undefined 的方式类似，所以在本文中我们将使用一个特殊的术语对其进行表示。为简洁起见，当一个值既不是 null 也不是 undefined 时，我们将其称为“已定义的（defined）”。

空值合并运算符 '??'

JavaScript 中有四个逻辑运算符：||（或），&&（与），!（非），??（空值合并运算符）。本文我们先介绍前三个，在下一篇文章中再详细介绍 ?? 运算符。
虽然它们被称为“逻辑”运算符，但这些运算符却可以被应用于任意类型的值，而不仅仅是布尔值。它们的结果也同样可以是任意类型。

逻辑运算符

有时我们需要根据不同条件执行不同的操作。
我们可以使用 if 语句和条件运算符 ?（也称为“问号”运算符）来实现。

条件分支：if 和 '?'

在本文中，我们将进一步了解不同类型的比较，JavaScript 是如何进行比较的，包括一些重要的特殊性。在文末给出了一些秘诀，帮助你避免 “JavaScript 陷阱”相关的问题。

值的比较

我们从学校里了解到过很多运算符，比如说加号 +、乘号 *、减号 - 等。
在本章中，我们将从简单的运算符开始，然后着重介绍 JavaScript 特有的方面，这些是在学校中学习的数学运算所没有涵盖的。

基础运算符，数学运算

大多数情况下，运算符和函数会自动将赋予它们的值转换为正确的类型。
比如，alert 会自动将任何值都转换为字符串以进行显示。算术运算符会将值转换为数字。在某些情况下，我们需要将值显式地转换为我们期望的类型。

JavaScript类型转换

由于我们将使用浏览器作为我们的演示环境，让我们看几个与用户交互的函数：alert，prompt 和confirm。

交互：alert、prompt 和 confirm

JavaScript 中的值都具有特定的类型。例如，字符串或数字。
在 JavaScript 中有 8 种基本的数据类型（译注：7 种原始类型和 1 种引用类型）。在这里，我们将对它们进行大体的介绍，在下一章中，我们将详细讨论它们。

JavaScript数据类型

变量 是数据的“命名存储”。我们可以使用变量来保存商品、访客和其他信息。

JavaScript变量

我们将要学习的第一个内容就是构建代码块。

代码结构语句

本教程的这一部分内容是关于 JavaScript 语言本身的。

Hello, world!

程序员接触时间最长的就是代码编辑器。
代码编辑器主要分两种：IDE（集成开发环境）和轻量编辑器。很多人喜欢这两种各选一个。

代码编辑器

这本书是一个 教程。它旨在帮助你由浅入深掌握 JavaScript 这门语言。但是，当你已经熟悉了这门语言的基础知识，你就会需要其他资料。

Javascript手册与规范

JavaScript 最初被创建的目的是“使网页更生动”。
这种编程语言写出来的程序被称为 脚本。它们可以被直接写在网页的 HTML 中，在页面加载的时候自动执行。
脚本被以纯文本的形式提供和执行。它们不需要特殊的准备或编译即可运行。

JavaScript 简介

Android 逆向开发是指对已发布的 Android 应用进行分析和破解。

安卓逆向-安卓开发基础

Python-循环结构

迄今为止，我们写的 Python 程序都是一条一条语句按顺序向下执行的，这种代码结构叫做顺序结构。然而仅有顺序结构并不能解决所有的问题，比如我们设计一个游戏，游戏第一关的过关条件是玩家获得 1000 分，那么在第一关完成后，我们要根据玩家得到的分数来决定是进入第二关，还是告诉玩家“Game Over”（游戏结束）。在这种场景下，我们的代码就会产生两个分支，而且只有一个会被执行。类似的场景还有很多，我们将这种结构称之为“分支结构”或“选择结构”。

Python-分支结构

Python 语言支持很多种运算符，下面的表格按照运算符的优先级从高到低，对 Python 中的运算符进行了罗列。有了变量和运算符，我们就可以构造各种各样的表达式来解决实际问题。在计算机科学中，**表达式是计算机程序中的句法实体，它由一个或多个常量、变量、函数和运算符组合而成，编程语言可以对其进行解释和计算以得到另一个值**。不理解这句话没有关系，但是一定要知道，不管使用什么样的编程语言，构造表达式都是非常重要的。

Python语言中的运算符

在开始系统的学习 Python 编程之前，我们先来科普一些计算机的基础知识。计算机的硬件系统通常由五大部件构成，包括：**运算器**、**控制器**、**存储器**、**输入设备**和**输出设备**。其中，运算器和控制器放在一起就是我们常说的**中央处理器**（CPU），它的功能是执行各种运算和控制指令。刚才我们提到过，程序是指令的集合，写程序就是将一系列的指令按照某种方式组织到一起，然后通过这些指令去控制计算机做我们想让它做的事情。存储器可以分为**内部存储器**和**外部存储器**，前者就是我们常说的内存，它是中央处理器可以直接寻址的存储空间，程序在执行的过程中，对应的数据和指令需要加载到内存中。输入设备和输出设备经常被统称为 I/O 设备，键盘、鼠标、麦克风、摄像头是典型的输入设备，而显示器、打印机、扬声器等则是典型的输出设备。目前，我们使用的计算机基本大多是遵循“冯·诺依曼体系结构”的计算机，这种计算机有两个关键点：一是**将存储器与中央处理器分开**；二是**将数据以二进制方式编码**。

Python语言中的变量

Python是由荷兰人吉多·范罗苏姆（Guido von Rossum）发明的一种编程语言，是目前世界上最受欢迎和拥有最多用户的编程语言。Python 强调代码的可读性和语法的简洁性，相较于 C、C++、Java 这些同样影响深远的编程语言，Python 让使用者能够用更少的代码表达自己的意图。

初识Python

为大家讲解几种可以编写和运行 Python 代码的工具，大家可以根据自己的需求来选择合适的工具。当然，对于初学者，我个人比较推荐使用 PyCharm，因为它不需要太多的配置也非常的强大，对新手还是很友好的。如果你也听说过或者喜欢 PyCharm，可以直接跳过下面对其他工具的介绍，直接快进到讲解 PyCharm 的地方。

第一个Python程序

关于异步IO这个概念，可能有些伙伴不是非常明白，那就先来看看异步IO是怎么回事儿。为了大家能够更形象得理解这个概念，我们拿放羊来打个比方：

彻底明白Python的异步执行

本文需要输入密码才可访问，密码: 123456

加锁文章 - 密码123456

大模型基础【完整版】

5秒盾及绕过

一本会让你笑着与情绪和解治愈之书

人人都会情绪失控

如果你连 10 分钟都坐不住，这篇不是来骂你的,而是来和你一起学习一下：普通人到底怎么做到连续专注 3 小时

连 10 分钟都坐不住？

Base64是一种基于64个可打印字符表示二进制数据的编码方法，核心原理是将3字节（24位）的二进制数据分割为4组6位数据（2⁶=64），每组映射到一个ASCII可打印字符。标准Base64字符集为A-Z、a-z、0-9、+、/，填充字符为=。

Base64系列编码

哈希算法 是一种将任意长度的数据压缩到某一固定长度的数据摘要的算法，得到的结果称为 哈希值 或 散列值。

白话哈希（Hash）算法

AES（Advanced Encryption Standard，高级加密标准）是美国国家标准与技术研究院（NIST）于2001年发布的对称加密算法标准，用于取代已经不够安全的DES算法。经过全球密码学家的公开评审，比利时密码学家Joan Daemen和Vincent Rijmen设计的Rijndael算法最终胜出，成为AES标准。



深入理解AES加密

公钥和私钥的概念之所以难以理解，是因为它打破了我们对钥匙的常识认知——通常一把钥匙既能锁门也能开门。但非对称加密的精妙之处正在于此：将锁和钥匙的功能分离，创造了全新的安全范式。



一文读懂公钥、私钥(建议收藏)

RSA是以其发明者Ron Rivest、Adi Shamir和Leonard Adleman姓氏首字母命名的公钥加密算法，于1977年提出，1978年正式发表。RSA是第一个既能用于数据加密也能用于数字签名的算法，其安全性基于大整数分解的困难性——将两个大质数的乘积分解回原来的质数在计算上是不可行的。



深入理解RSA加密

在爬虫数据采集过程中，加密是开发者面临的主要技术挑战之一。本文系统梳理了11类常见加密算法与技术，为每种技术提供了识别特征、场景分析、解决策略和标准操作流程。

爬虫数据采集加密算法全景指南

Python开发

技术分享

JavaScript

优质图书

爬虫开发

Android逆向

字觉

加解密

首页

在线工具

专题合集

Python教程系列

Python

教程

JavaScript教程系列

这是一个外部链接，由slug决定跳转的网址

爬虫

菜单slug留空或填#即可，用于下面的子菜单

往期整理

历史归档

文章分类

文章标签

优秀开源合集

关于我

优质开源项目合集

Github

在线辅助工具

订阅本站

Android

逆向

必看精选

框架

网络请求

异步

并发

汇总

下拉框

comment

comment (1)

文本

author

publish date

reading time

featured image

language

visibility

comments enabled

external links

contact email

password

icon

date

type

slug

status

上次编辑时间

AI 总结

title

summary

内容

Table

Post Board

Post Gallery

Config

类型为Notice的文章将被显示为公告

公告

如果您的Notion数据库已经修改了内容，发现网站内容还是旧的，说明绑定NotionPageID失败了，请重新检查Vercel后台是否正确配置好ID，并尝试重新部署。

24th

Keep Your Focus

交流频道

加入我们的社群讨论分享