v0.0.1.6

[0.0.1.6] - 2024-05-04

Added

• 添加weibo应用
• 添加abogus(limit ua)加密
• 添加douyin加密算法切换配置
• 添加基础接口模型转url类
• 添加WebSocket爬虫客户端
• 添加douyin直播wss签名管理器
• 添加douyin直播wss签名生成类
• 添加douyin工具JS库webmssdk.es5-1.0.0.53
• 添加douyin直播间弹幕wss接口
• 添加F2版本检测
• 添加tiktok直播间开播状态
• 添加PyExecJS==1.5.1依赖
• 添加protobuf==4.23.0依赖
• 添加websockets>=11.0依赖
• 添加tiktok的device_id注册与cookie管理类
• 添加douyin生成webid配置
• 添加douyin关注用户直播
• 添加douyin，tiktok模型配置
• 添加conf.yaml配置版本号
• 添加tiktok集成测试
• 添加traceback输出
• 添加douyin短剧作品
• 添加同步客户端的同步transport
• 添加同步客户端
• 添加douyin直播弹幕初始化
• 添加douyin合集mix_id获取方法
• 添加douyin查询用户
• 添加时间戳转换的默认时区设置（UTC/GMT+08:00）
• 添加ClientConfManager为每个应用提供方便的配置读取
• 添加uniqueId查询tiktok的user_db
• 添加获取segments的duration列表方法
• 添加应用运行模式的输出
• 新增tiktok作品搜索
• 新增tiktok用户直播
• 添加反转义JSON方法
• 新增douyin相关推荐
• 新增douyin好友作品

Changed

• 更新__aexit__方法
• 更新douyin加密算法代码片段
• 更新weibo测试用例
• 优化命令不存在的输出
• 取消接口数据过滤器对bool的预处理
• 调整停止异步任务信号
• 更新douyin的xbogus调用
• 为装饰器文件重命名
• 更新获取Content-Length的方法
• 防止douyin直播结束时下载崩溃
• 更新BaseCrawler类处理httpx即将弃用proxies参数
• 更新tiktok的msToken配置
• 修复ClientConfManager参数
• 更新了所有应用配置
• 重构了所有工具类方法
• 更新base_downloader的区块下载参数
• 修改douyin生成的ttwid将绑定ua
• 修改tiktok用户直播下载流地址
• 修改douyin，tiktok获取用户信息方法名
• 完善时间戳转换类型，支持30位
• 修改应用的代理配置名（http: https: -> http://: https://:）
• 更新xb算法示例部分
• 更新base_crawler异常捕获与输出
• 更新应用初始化配置文件后退出 (#70)
• 更新应用使用--auto-cookie命令后退出
• 更新douyin过滤器，将video_play_addr返回完整视频列表便于下载失败轮替
• 更改douyin图集文件名（jpg -> webp）
• 更改应用直播下载文件名（mp4 -> flv）
• 更新应用工具类网络错误捕获

Deprecated

• 弃用douyinSSO扫码登录
• 类BaseModel中的dict方法已弃用(pydantic>=2.6.4)
• 类datetime中的utcnow方法已弃用
• 弃用douyin，tiktok获取用户名方法

Removed

• 删除tiktok基础请求模型的无用参数
• 删除f2\utils\utils.py无效导入

Fixed

• 修复douyin接口更新导致的错误 #104
• 修复_dl日志输出
• 修复douyin下载合集时合集链接无法识别的情况
• 修复tiktok下载播放列表（合集）的错误
• 修复m3u8流下载时会重复下载ts片段的问题
• 修复m3u8流获取content_length时没有提供代理参数造成的访问失败
• 修复douyin，tiktok因提前引发异常导致无法生成虚假的msToken

Security

• 更新pytest版本到8.2.1
• 更新pydantic版本到2.6.4
• 更新httpx版本到0.27.0
• 更新aiosqlite版本到0.20.0

Resolve

#104
#103
#102
#99
#98
#95
#88
#79
#78
Johnserf-Seed/TikTokDownload#703
Johnserf-Seed/TikTokDownload#718
Johnserf-Seed/TikTokDownload#711
Johnserf-Seed/TikTokDownload#702

What's Changed

• V0.0.1.5 pw2 -> main 24/Feb/28 文档内容修复 by @Johnserf-Seed in #50
• Release v0.0.1.5 pw2累计更新修复 24/Feb/24 - 24/Apr/04 by @Johnserf-Seed in #68
• fix douyin mix& f2 ci yml from v0.0.1.6 pw2 on 24/Apr/07 by @Johnserf-Seed in #71
• fix tiktok mix& f2 readme from v0.0.1.6 pw2 on 24/Apr/09 by @Johnserf-Seed in #72
• merge Codecov.yml main -> v0.0.1.6-pw2 by @Johnserf-Seed in #73

Full Changelog: v0.0.1.5...v0.0.1.6

v0.0.1.5

[0.0.1.5] - 2024-04-04

Added

• 添加安全政策汇报
• 添加run_app时输出版本号
• 添加douyin用户收藏夹下载
• 添加douyin的filter对非法收藏夹名字符的处理
• 添加douyin用户音乐收藏下载
• 添加douyin音乐歌词json转lrc方法
• 添加douyin用户收藏音乐下载任务
• 添加douyin配置--lyric
• 添加f2 utils的get_cookie_from_browser方法
• 添加f2 utils的check_invalid_naming方法
• 添加f2 utils的merge_config方法
• 添加douyin粉丝用户接口方法(#59)
• 添加douyin关注用户接口方法(#59)
• 添加douyin，tiktok数据过滤器的原始字段
• 添加对30位时间戳进行格式化
• 添加测试抖音原声歌词转换
• 添加获取抖音用户粉丝代码片段(#59)
• 添加获取抖音用户关注代码片段(#59)
• 添加fetch方法的timeout参数，避免请求过于频繁
• 添加douyin用户收藏夹代码片段
• 添加对丢失链接的重试逻辑
• 添加自定义UA生成XBogus参数
• 添加douyin，tiktok对UserProfile请求内容为空的报错

Changed

• 修改douyin主页收藏模式为collection
• 更正douyin文档user-mix方法
• 修改F2版本号输出
• 修改douyin，tiktok帮助信息
• 优化douyin，tiktok的utils中msToken，ttwid，sec_user_id，aweme_id，webcast_id，具体请求错误的输出
• 明确douyin，tiktok所有fetch函数返回为过滤器类型
• 更新了F2版本号的导入
• 优化tiktok的handler处理播放列表的逻辑
• 优化douyin，tiktok中对具体请求错误的输出
• 更正douyin，tiktok受collects_id类型导致的多次转换
• 更正tiktok的handler多种获取用户信息方法的参数
• 添加base_downloader对重命名文件时的异常处理
• 更新_dl的head请求Content-Length失效时调用get方法
• 更新douyin，tiktok接口文档代码片段
• 更新douyin，tiktok在cli中的handler_auto_cookie方法
• 更新douyin，tiktok在cli中的handler_naming方法
• 更新douyin，tiktok的--mode统一choice管理
• 更新F2帮助说明格式
• 统一了douyin关注粉丝用户的total字段
• 修改下载逻辑以提高性能
• 更新douyin，tiktok数据库字段(需要删除旧数据库或迁移)
• 优化douyin，tiktok的handler模块注释表达与方法参数格式
• 重构了所有handle方法的调用
• 重构了所有fetch方法的返回类型
• 调整douyin mix作品在没有更多数据时提前break
• 调整tiktok获取用户数据去除地区参数
• 优化在适当的位置yield作品数据
• 修改日志输出级别
• 重构数据库异常类
• 重构文件异常类
• 重构接口异常类
• 完善i18n消息

Deprecated

• 弃用douyin UserLiveFilter的无用方法
• 弃用douyin PostDetailFilter的无用方法

Removed

• 删除文档旧版本-d指令
• 移除tiktok的post\detail接口示例
• 删除无用的__init__.py文件
• 删除douyin，tiktok：cli下的get_cookie_from_browser方法
• 删除example示例
• 删除无用导入
• 删除apps中db模块的aiosqlite导入与错误处理

Fixed

• 修复本地化服务(#58)
• 修复douyin关注用户数据过滤器_to_list方法的排除字段
• 修复douyin数据过滤器时间戳类型

Security

• 更新rich版本到13.7.1
• 更新douyin接口版本到19.5.0

What's Changed

• Merge pull request #19 from Johnserf-Seed/main by @Johnserf-Seed in #20
• 0.0.1.2版本更新 by @Johnserf-Seed in #21
• V0.0.1.3 pw1 24/01/05-24/01/07 累积更新修复 by @Johnserf-Seed in #24
• v0.0.1.4累计更新修复 24/Jan/07 - 24/Feb/16 by @Johnserf-Seed in #39
• V0.0.1.4 pw1文档更新 by @Johnserf-Seed in #46
• main -> v0.0.1.5-pw2 24/Feb/21- 24/Feb/27 by @Johnserf-Seed in #49

Full Changelog: v0.0.1.4...v0.0.1.5

v0.0.1.4

What's Changed

修复 [Fixed]

• 修复了非Windows系统下创建长中文名文件出错的问题 #34
  Johnserf-Seed/TikTokDownload#653
  Johnserf-Seed/TikTokDownload#636
  Johnserf-Seed/TikTokDownload#483
• 修复了接口缺失时间戳值导致的问题 #23
• 修复了douyin utils模块对aweme_id的处理
• 修复了CLI参数合并时的一些问题，确保自定义配置的正确性
• 修复了douyin直播嵌套ts文件无法获取字节大小的问题 Johnserf-Seed/TikTokDownload#649
• 修复了douyin收藏作品下载错误的问题 Johnserf-Seed/TikTokDownload#650
• 修复了示例代码片段与开发者文档代码片段
• 修复了cli退出时base_downloader出现 UnboundLocalError 错误的问题
• 修复了base_downloader下载文件区块时未能正确捕获超时错误
• 修复了在更新配置时缺少自定义配置文件路径的问题
• 修复了get_or_add_user_data中的AttributeError问题
• 修复了数据库文件名
• 修复了部分自定义配置失效的问题

修改 [Change]

• 修改了日志输出，以便更好地了解配置加载情况
• 修改了TokenManager里固定配置的读取方式，增强了配置的易用性和可维护性
• 修改了默认低频主配置文件、F2低频配置文件
• 修改了配置文件与CLI命令，解决了部分自定义配置失效的问题
• 修改了部分方法的签名，提升了代码清晰度和可读性

更新 [Update]

• 更新了翻译文件和模板
• 更新了app帮助说明
• 更新了文档内容和静态文件
• 更新了base_crawler的POST获取json方法
• 重新设计了处理配置参数的逻辑，提升了性能和灵活性
• 更新了模块捕获错误时显示具体类名
• 更新了默认低频主配置文件和F2低频配置文件
• 更新了依赖库版本，确保兼容性 Johnserf-Seed/TikTokDownload#641
• 更新了TikTok和Douyin的开发者接口文档和代码片段

添加 [Add]

• 添加了默认低频配置文件路径，用于生成app配置文件
• 添加了QA文档，提供了常见问题与解决办法
• 添加了app cli模块的merge_config方法
• 添加了写入配置文件时处理文件权限问题的功能
• 添加了所有单元测试的path注释
• 添加了对于不同操作系统下文件名长度的处理方法
• 添加了不同apputils模块的连接失败与错误处理
• 添加了提取有效URL的错误类型
• 添加了douyin msToken值验证

改进 [Improve]

• 改进了部分单元测试代码，提升了代码质量
• 改进了douyin的handler_sso_login方法，保证配置文件路径正确
• 优化了异常处理机制，使得错误信息更加详细和可读
• 改进了base_downloader无代理配置默认值
• 改进了app crawler无代理配置默认值
• 改进了app handler类的结构和清晰度
• 改进了日志输出，增加了配置加载情况的显示
• 重写了配置参数的处理逻辑，提升了性能和可维护性

删除 [Delete]

• 删除了pot翻译模板文件
• 删除了无用的测试文件和部分注释代码
• 删除了弃用文档
• 移除了一些不必要的依赖和配置项
• 删除了不再使用的接口和方法
• 删除了F2主配置文件中的代理值与无效值
• 删除了一些注释
• 删除了base_crawler模块选择随机代理的注释代码

其他 [Other]

• 进行了代码格式化和优化，增强了代码的可读性和可维护性
• 解决了一些Bug和错误，提升了程序的稳定性和可靠性

[Issues]

#23
#34
Johnserf-Seed/TikTokDownload#483
Johnserf-Seed/TikTokDownload#636
Johnserf-Seed/TikTokDownload#641
Johnserf-Seed/TikTokDownload#649
Johnserf-Seed/TikTokDownload#650
Johnserf-Seed/TikTokDownload#653

Full Changelog: v0.0.1.3...v0.0.1.4

f2-0.0.1.3

What's Changed

• V0.0.1.3 pw1 24/01/05-24/01/07 累积更新修复 by @Johnserf-Seed in #24

[Issues]

#22
Johnserf-Seed/TikTokDownload#634
Johnserf-Seed/TikTokDownload#632
Johnserf-Seed/TikTokDownload#629
Johnserf-Seed/TikTokDownload#626
Johnserf-Seed/TikTokDownload#625

Full Changelog: v0.0.1.2-pw1...v0.0.1.3-pw1

f2-0.0.1.2

What's Changed

• V0.0.1 pw.1 ❗添加遗漏依赖 by @Johnserf-Seed in #15
• v0.0.1.1-pw1 更新v0.0.1.1-pw1 by @Johnserf-Seed in #16
• V0.0.1.1 pw1 24/01/05 BUG修复与配置文件文档更新 by @Johnserf-Seed in #18
• main -> v0.0.1.1-pw1 24/01/05 by @Johnserf-Seed in #19
• 更新cli帮助说明

[Fixed]

• 修复--init-config命令初始化错误导致无法读取配置的问题 Johnserf-Seed/TikTokDownload#626
  Johnserf-Seed/TikTokDownload#629 bc4c16b
• 使用缺省none来避免触发callback导致提权

Full Changelog: v0.0.1.1...v0.0.1.2

f2-0.0.1.1-pw1

[Fixed]

修复pyproject.toml依赖部分遗漏造成的Error: No such command Johnserf-Seed/TikTokDownload#623

f2-0.0.1.0-pw1

v0.0.1-pw1