Error in atexit._run_exitfuncs: Traceback (most recent call last): File "C:\Users\Toenc\Anaconda3\envs\tensorflow\lib\site-packages\pyppeteer\launcher.py", line 217, in killChrome self._cleanup_tmp_user_data_dir() File "C:\Users\Toenc\Anaconda3\envs\tensorflow…
robot信息查询 from urllib.robotparser import RobotFileParser UrlRobots = 'https://book.douban.com/robots.txt' def GetRobotsTxt(url) : rp = RobotFileParser() rp.set_url(url) rp.read() print(rp.can_fetch('*', 'https://book.douban.com/tag/?view=type&icn=index-sorttag…
通过User-Agent构建请求头headers能够将爬虫伪装，但是有的网站会去检查请求头，所以在每次提交网站请求时可以使用随机的header，频繁更换UserAgent可以避免触发相应的反爬机制，而fake-useragent对此类需求提供了解决方案用于python爬虫伪装。 通过pip进行下载 pip install fake-useragent 导库 import os import fake_useragent # ua = UserAgent(use_cache_server=False) # ua = …
https://docs.cloudera.com/documentation/enterprise/latest/topics/spark_python.html python环境为3.7.2，通过Anaconda-5.3.1-el7.parcel部署安装 在CM配置Spark的Python环境,并重启相关服务 if [ -z "${PYSPARK_PYTHON}" ]; then export PYSPARK_PYTHON=/opt/cloudera/parcels/Anaconda-5.3.1/…
豆瓣 ：http://pypi.douban.com/simple/ 阿里 ：http://mirrors.aliyun.com/pypi/simple/ 中国科学技术大学：http://pypi.mirrors.ustc.edu.cn/simple 清华：https://pypi.tuna.tsinghua.edu.cn/simple
稀疏数组是一种压缩后的数组，把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模 原数组中存在大量的无效数据，占据了大量的存储空间，真正有用的数据却少之又少 压缩存储可以节省存储空间以避免资源的不必要的浪费，在数据序列化到磁盘时，压缩存储可以提高IO效率