Feature/sqlite-db #83
Open
Conversation
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
added 11 commits
February 6, 2025 21:53
- 🛠️ 在 `conf.py` 中更新了配置，增加了更健壮的路径处理，并添加了 TencentConfig 类 - 📂 改进了示例上传脚本，优化了路径管理和错误处理 - 🛠️ 增强了 `base_social_media.py` 和 `files_times.py` 中的工具函数 - 📦 更新了 requirements，增加了 Flask 和 Gevent - 🔄 重构了腾讯上传器，增加了更灵活的账户处理和 AI 生成的标签 - ⬇️ 添加了动态 stealth.min.js 下载机制
- 🚀 重构 `upload` 方法，支持多账号并发上传 - 🔍 新增 `detect_upload_status` 方法，改进上传状态检测 - 🖼️ 实现 `upload_cover` 方法，支持自定义封面上传 - 📍 添加位置信息和好友标记功能 - 🔒 优化 cookie 验证和账号信息获取流程 - 🛠️ 增加错误处理和重试机制 - 📊 新增账号信息获取方法，提供更多上传前的账号信息
- 🔑 实现交互式 Cookie 获取和管理脚本 - 🚀 支持添加新账号、更新指定账号或批量更新 Cookie - 🛠️ 使用 argparse 添加命令行参数支持 - 📂 优化 Cookie 文件管理和存储路径 - 🔄 增加并发 Cookie 验证和更新功能
- 🚀 实现 `find_video_assets()` 方法，支持灵活的视频资源查找 - 📄 新增 `load_video_info()` 函数，从 JSON 配置文件加载视频信息 - 🔄 重构上传流程，支持单线程和多线程上传模式 - 🛠️ 优化错误处理和日志记录 - 📦 增加对封面、标签和好友标记的支持 - 🔍 提供更灵活的账号管理和 Cookie 验证机制
- 记录视频号、抖音、快手和小红书的定时发布时间限制 - 创建 README.MD 文档说明各平台发布规则
- 更新 `__main__` 部分，默认使用特定账号名称进行单线程上传 - 移除不必要的 `sys` 导入
- 添加 `sqlite_logger` 到日志模块 - 实现 `SQLiteHelper` 类，提供同步 SQLite 数据库操作 - 实现 `AsyncSQLiteHelper` 类，提供异步 SQLite 数据库操作 - 支持线程安全、事务处理、参数化查询和批量操作 - 提供连接管理、查询、执行和表操作等常用方法
- 🔄 新增 `batch_cookie_auth()` 函数，支持并发验证多个账号的 Cookie 有效性 - 🛠️ 重构 `cookie_auth()` 方法，优化 Cookie 验证逻辑 - 📝 改进代码格式和可读性，使用更现代的 Python 语法 - 🔍 优化错误处理和日志记录
- 🗃️ 实现 `SocialMediaDB` 类，提供社交媒体账号信息的数据库管理功能 - 📊 支持账号信息的增删改查、状态管理和 Cookie 文件关联 - 🔍 添加账号和 Cookie 验证机制，确保数据完整性 - 📈 提供平台统计功能，支持获取账号、视频和粉丝数据 - 🛡️ 实现错误处理和日志记录，增强模块的健壮性
- 🏗️ 将腾讯视频上传器拆分为多个模块：account.py, cookie.py, video.py, utils.py - 🔄 重构代码结构，提高代码可读性和可维护性 - 🗃️ 集成社交媒体数据库，实现账号和 Cookie 的自动管理 - 🔍 优化账号信息获取、Cookie 验证和上传流程 - 📦 更新 __init__.py，提供更清晰的模块导入
- 新增视频管理工具项目概述和详细文档 - 扩展 README 内容，包括项目愿景、功能地图和使用场景 - 更新 requirements.txt，升级依赖库版本 - 添加新的技术栈和开发规范说明
|
非常感谢，我刚看到，我空一点review下。感谢为社区贡献 |
- 添加 Git 提交信息规范助手 (git-commit-msg-helper.mdc) - 新增 Gradio Web 开发助手规则文件 (gradio-helper.mdc) - 添加 LangGPT Prompt 结构化助手规则 (lang-gpt-prompt.mdc) - 新增 Playwright 自动化测试助手规则 (playwright-helper.mdc) - 添加 Python 3.11+ 编程规范助手规则 (python-helper.mdc) - 同步创建对应的 Markdown 文档在 doc/prompt 目录
- 🔍 重构 `FileManager` 类，改进视频文件扫描和信息获取逻辑 - 🖥️ 更新 `VideoManagerApp` 界面，支持动态目录选择和文件列表展示 - 📊 优化文件信息展示，增加相对路径和文件大小格式化 - 🔧 调整日志配置，增加调试信息和控制台输出级别 - 🚀 改进文件选择和元数据展示流程，提升用户交互体验
- 使用 `queue()` 方法启动应用，提升并发处理能力 - 新增 `prevent_thread_lock=True` 参数，防止线程锁定 - 保留原有的调试和错误显示配置
- 🎥 在 `video_info.py` 中新增视频预览组件，支持直接播放视频 - 🔄 调整 `app.py` 中文件选择方法，返回视频预览路径 - 🧹 移除文件大小和修改时间显示，简化界面 - 📐 调整视频预览尺寸，提升用户体验
- 🔊 在 `helpers.py` 中新增 `extract_text_from_video()` 方法，支持视频文字提取 - 🖥️ 更新 `app.py` 和 `run.py`，增加文字提取按钮和全局 demo 实例 - 🎨 修改 `video_info.py`，添加文字显示和提取按钮组件 - 🔒 增加路径安全性检查和默认目录配置 - 🚀 优化应用启动参数，增加路径白名单和安全设置
- 🔊 实现视频文字提取方法，扩展文件处理能力 - 🔒 增强路径安全性检查和默认目录配置 - 🚀 优化应用启动参数和全局实例管理 - 🎨 更新用户界面，添加文字提取交互组件
- 🕷️ 实现 `VideoContentCrawler` 类，支持微信视频号内容抓取 - 🗃️ 新增 `VideoContentDB` 类，管理视频内容数据库 - 📊 添加视频内容数据库表结构和操作方法 - 🔍 开发视频号内容抓取测试脚本 - 🚀 优化 Cookie 获取和账号管理流程 - 📝 新增视频内容抓取和数据库相关模块
- 🕷️ 重构 `VideoContentCrawler`，优化内容抓取和去重逻辑 - 🗃️ 新增 `get_video_content_by_title()` 和 `update_video_content()` 方法 - 📊 改进内容去重和更新策略，提高数据库管理效率 - 🚀 优化异步上下文管理和错误处理流程 - 🔍 增强日志记录和异常捕获机制 - 🧹 清理冗余代码，提升模块可读性和可维护性
- 添加 `data/` 目录到忽略列表 - 排除 `data/video_list_*.json` 类型的文件 - 防止本地生成的数据文件意外提交到仓库
- 移除独立的 .cursorrules 配置文件 - 将原文件中的开发规范和最佳实践合并到 python311_expert_prompt.md - 保留原有的技术规范和问题解决流程 - 精简文档结构，提高可读性和维护性
- 🚀 新增 `account.py`，实现快手账号管理和 Cookie 验证 - 🎥 开发 `video.py`，重构视频上传和批量上传逻辑 - 🔍 新增 `validator.py`，提供视频参数和上传结果验证 - 📦 添加 `constants.py`，集中管理上传相关常量和配置 - 🔧 优化上传流程，增加重试机制和错误处理 - 🌐 支持定时发布、并发上传和详细日志记录 - 🛡️ 增强参数校验和异常处理能力
- ✨ 重构 `account.py`，增强 Cookie 验证和账号信息提取逻辑 - 🔍 新增个人资料信息提取方法，支持解析用户统计数据 - 🚀 优化 Cookie 验证流程，增加详细日志和错误处理 - ➕ 在 `requirements.txt` 中添加 `aiosqlite` 依赖 - 🗑️ 删除无关的 `debug_screenshot.png` - 🔧 调整 `__init__.py` 中 Cookie 目录创建代码位置 - 📝 更新 `constants.py`，新增个人资料页面相关选择器和常量
- 🚀 重构 `get_kuaishou_cookie.py`，优化 Cookie 获取流程 - 🔧 新增 `cookie_helper.py`，提供 Cookie 文件验证和备份工具 - 🌐 新增 `playwright_helper.py`，简化 Playwright 浏览器安装 - 🔍 更新 `social_media_db.py`，增加账号信息更新方法 - 🎥 重构 `upload_video_to_kuaishou.py`，支持更灵活的视频上传 - 🛡️ 增强错误处理和日志记录 - 🧹 移除冗余代码，提升模块可读性和可维护性
- 🚀 重构 `get_douyin_cookie.py`，优化 Cookie 获取流程 - 🔧 新增 `account.py`，提供抖音账号管理和 Cookie 验证 - 🎥 开发 `video.py`，重构视频上传逻辑 - 🔍 新增 `validator.py`，提供视频参数验证 - 🌐 新增 `user_info.py`，实现用户信息提取 - 🛡️ 增强错误处理和日志记录 - 🧹 移除 `main.py`，重构代码结构 - 📝 更新 `__init__.py`，优化模块导入
- 🚀 新增多个工具类助手：`browser_helper.py`、`cookie_helper.py`、`db_helper.py`、`error_helper.py`、`login_helper.py`、`page_check_helper.py` - 🔧 重构 `playwright_helper.py`，提供更精细的浏览器资源管理 - 🌐 优化 `user_info.py`，改进用户信息提取逻辑和错误处理 - 🔍 新增 `__init__.py`，统一管理工具类模块导入 - 🛡️ 增强错误处理、日志记录和资源清理机制 - 🧹 重构代码结构，提升模块可读性和可维护性
- 添加抖音视频上传模块调试计划 - 完善日志和定位选择器的调试建议 - 新增通过 HTML 代码优化元素定位的方法
- 调整 `_verify_cookie_and_get_user_info()` 默认无头模式为 True - 在 `_verify_cookie_and_get_user_info()` 中注入 stealth.js 脚本，增强反反爬能力 - 重构 `BrowserHelper`，增加更详细的浏览器启动参数和上下文配置 - 优化浏览器指纹和反检测策略，提高浏览器自动化的隐蔽性 - 调整用户代理、视窗大小和地理位置等浏览器上下文参数
- 新增 `CookieSyncManager` 类，实现用户数据目录和Cookie文件的高级同步机制 - 重构 `AccountManager`，支持每个账号独立的用户数据目录和Cookie文件 - 添加同步后操作处理，确保账号信息和Cookie状态的一致性 - 优化账号目录和文件路径管理，提高代码健壮性和可维护性 - 实现细粒度的Cookie状态比较和同步策略
- 新增 `validator.py`，提供视频文件、标题、标签等全面验证功能 - 重构 `video.py`，实现批量上传和高级验证逻辑 - 优化 `examples/upload_video_to_douyin.py`，支持更灵活的视频上传配置 - 增强错误处理和日志记录，提高上传模块的健壮性 - 支持从配置文件自动读取视频信息和发布参数 - 实现更精细的视频和封面文件验证机制
- 创建 `stealth_helper.py`，实现 stealth.min.js 文件的自动检查和更新 - 支持比较本地和远程文件的生成日期 - 自动下载最新版本的 stealth.min.js 文件 - 增强反反爬虫脚本的版本管理能力
- 新增 `.gitignore` 文件，优化项目文件忽略配置 - 更新 `requirements.txt`，添加测试和开发相关依赖 - 完善 `README.MD`，新增开发规范和代码质量要求 - 优化日志模块，为不同模块添加专用日志记录器 - 调整项目文档和提示文件，增强开发指导 - 重构部分模块的错误处理和资源管理逻辑 - 增强代码的类型提示和异常处理能力
|
@fcmyoo 抱歉，我没那么多时间去review代码，你是否考虑多一些职责。我可以把你加入协作者，如何？ |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
__main__部分，默认使用特定账号名称进行单线程上传sys导入