linRichielinRichie
前端
Python
Linux
ChatGPT
  • B 站
  • 500px
前端
Python
Linux
ChatGPT
  • B 站
  • 500px
    • Python学习指南
  • 快速开始

    • Python: 输入与输出 (I/O)
    • Python: 异常处理 try-except
    • Python: List深入概述
    • Python: 面向对象编程(OOP)
  • Python 语法库函数

    • 语法库目录
    • 库

      • library目录
      • argparse:解析命令行参数
      • difflib:比较序列并生成差异信息
      • dnspython: DNS处理库
      • IPy:IP地址处理库
      • logging:记录和管理日志信息
      • os:访问和操作操作系统
      • psutil:系统性能信息库
      • re:正则表达式库
      • smtplib:邮件发送库
    • 函数

      • function目录
      • any() 函数
      • input 函数
      • lambda 和 map 函数
      • reversed()函数
      • zip()函数
    • 语句

      • statement目录
      • import 语句
      • Try/Exception 异常
    • 概念

      • concept目录
      • 深拷贝与浅拷贝
      • 列表、字典与元组
      • 文件读写
      • IO: 输入与输出
      • 逻辑判断与条件语句
      • OOP 面向对象:class
      • OOP: 面向对象编程
  • SQLAlchemy

    • 获取insert或者update的id
  • Pandas

    • Pandas目录
    • Pandas:基础操作
    • Pandas:数据处理与转换
    • Pandas: 数据写入 excel 表格
  • Python前端框架

    • Flask

      • 1. Flask简介
      • 2. Flask程序基本结构
      • 3. Flask请求-响应循环
      • 4. flask案例: 框架网页查询IP
      • Python: Flask中的GitHub OAuth
    • Django

      • chapter-01:Django框架认识

        • 1.1 Django的产生背景
        • 1.2 MTV设计模式
        • 1.3 Django 主要功能模块
      • chapter-02:开发环境配置

        • 2.1 Python的安装与配置
        • 2.2 虚拟环境安装与配置
        • 2.3 Django安装与配置
        • 2.4 MySQL安装配置
      • chapter-03:项目框架搭建

        • 3.1 Django管理工具-创建项目骨架
        • 3.2 修改项目的默认配置
        • 3.3 初始化项目环境
      • chapter-04:ORM应用与原理剖析

        • 4.1 构建POST应用需要的数据集
        • 4.2 Model相关的概念和使用方法
        • 4.3 Model的查询操作API
        • 4.4 ORM实现原理
      • chapter-05:Django管理后台

        • 5.1 将Model注册到管理后台
        • 5.2 管理后台实现原理
      • chapter-06:视图

        • 6.1 视图基础
        • 6.2 视图的高级特性和快捷方法
        • 6.3 基于类的通用视图
      • chapter-07:模板系统

        • 7.1 模板系统基础
        • 7.2 模板语言
      • chapter-08:表单系统

        • 8.2 使用表单系统实现表单: ModelForm
      • chapter-09:用户认证系统

        • 9.1 用户与身份认证
        • 9.2 权限管理
        • 9.3 用户认证系统应用
      • chapter-10:Django路由系统

        • 10.1 路由系统基础
      • chapter-11:Django中间件

        • 11.1 中间件基础
  • Python例子

    • Python: Linux的Shell命令
    • Python: PEP8自动格式化代码
    • Python: pip操作
    • Python: 业务服务监控
    • Python: 从文件逐行读取数据
    • 将链表转换为字符串
    • Python: 检查URL是否能正常访问
    • Python: 爬取网易云音乐
    • Python: 读取目录下的所有内容
    • 案例研究:文本统计
  • Python爬虫

    • 数据解析工具:Xpath
  • 算法题

    • 02:两数相加
    • 09:回文数
    • 13:罗马数值转换为整数
    • 14:最长公共前缀

Python: 检查URL是否能正常访问

  • URL 检查方法
    • 方法 1: urllib
    • 方法 2: requests
    • 方法 3: 异步检查
  • 最佳实践

URL 检查方法

方法 1: urllib

import urllib.request
import time

def check_url(url):
    """检查单个 URL 是否可访问"""
    opener = urllib.request.build_opener()
    opener.addheaders = [('User-Agent', 'Mozilla/5.0')]

    try:
        opener.open(url)
        print(f"{url} 访问正常")
        return True
    except urllib.error.HTTPError as e:
        print(f"{url} HTTP错误: {e.code}")
        return False
    except urllib.error.URLError as e:
        print(f"{url} 访问失败: {e.reason}")
        return False

def check_urls_from_file(filename):
    """从文件读取并检查多个 URL"""
    with open(filename, 'r') as f:
        urls = [line.strip() for line in f]

方法 2: requests

import requests
from typing import List

def check_url(url: str) -> bool:
    """检查单个 URL 是否可访问"""
    try:
        response = requests.get(url, timeout=5)
        return response.status_code == 200
    except requests.RequestException as e:
        print(f"访问 {url} 失败: {e}")
        return False

def check_urls(urls: List[str]) -> dict:
    """批量检查 URLs"""
    results = {}
    for url in urls:
        results[url] = check_url(url)
    return results

方法 3: 异步检查

import aiohttp
import asyncio
from typing import List

async def check_url(url: str) -> bool:
    """异步检查单个 URL"""
    async with aiohttp.ClientSession() as session:
        try:
            async with session.get(url) as response:
                return response.status == 200
        except aiohttp.ClientError:
            return False

async def check_urls(urls: List[str]):
    """异步批量检查 URLs"""
    tasks = [check_url(url) for url in urls]
    results = await asyncio.gather(*tasks)
    return dict(zip(urls, results))

最佳实践

  1. 异常处理

    • 设置超时时间
    • 处理各种网络异常
    • 记录错误信息
  2. 性能优化

    • 使用异步请求
    • 设置并发限制
    • 添加重试机制

注意:

  • 遵守网站的爬虫规则
  • 添加适当的请求间隔
  • 使用合适的 User-Agent
最近更新时间:
Prev
将链表转换为字符串
Next
Python: 爬取网易云音乐