cuixh0324的个人博客分享 http://blog.sciencenet.cn/u/cuixh0324

博文

python threading多线程崩溃问题

已有 5813 次阅读 2018-12-21 15:58 |个人分类:科研杂记|系统分类:科研笔记| python, python, python, python, python

通过requests模块设置 header  range参数将文件分段下载,同时结合python threading的多线程可以大大提高下载速度,例如通过3线程和2线程的下载时间相差约2.3秒左右。


但是当提高线程数时,容易出现崩溃问题:

程序贴出来:


Ipython直接崩溃 掉


##########################

原因:

当不同线程同时调用一个变量的时候,线程堵塞。

解决方法:

采用线程锁:



https://blog.sciencenet.cn/blog-3314854-1152841.html

上一篇:Sentinel 2 基本介绍
下一篇:python爬取aspx动态页面的基本思想。
收藏 IP: 222.135.77.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-25 14:25

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部