您现在的位置是:币圈大数据 > 运营商大数据
码编网页写P序爬程n程处理用C零代取并数据
币圈大数据2024-05-23 21:42:48【运营商大数据】4人已围观
简介下面这个网站页面,列出了很多AI网站,但是是以图片方式列出,点击图片会跳转到网站。怎么能把这些AI网站名称、AI网站网址自动爬取下来保存成excel文件呢?首先,在chrome浏览器中点击右键,点击i ,码编网页写P序爬程n程处理用C零代取并数据,信贷实时资料,运营商大数据,精准客户,精准营销实时一手数据,信贷实时信息购买
下面这个网站页面,零代理网列出了很多AI网站,码编但是程用程序是以图片方式列出,点击图片会跳转到网站。并处怎么能把这些AI网站名称、页数AI网站网址自动爬取下来保存成excel文件呢?
首先,在chrome浏览器中点击右键,码编点击inspect,程用程序可以查看到每个图片超链接的并处网页源代码
可以看到,网址在href属性值里面,页数网站名称在alt属性值里面
但是,alt属性值后面多了一个logo,码编所以获取到这个属性值后要去掉logo这个串字符。程用程序网站注册数据抓取
然后让ChatGPT写一段代码复制粘贴到Visual Studio Code中运行,显示程序运行错误,页数推测应该是Python安装环境的问题
于是,安装Anaconda3,创建虚拟环境
虚拟环境创建成功了,但是网站注册大数据抓取无法激活,显示:CommandNotFoundError: Your shell has not been properly configured to use conda activate.
If using conda activate from a batch script, change yourinvocation to CALL conda.bat activate.To initialize your shell, run
$ conda init 。试了多个方法没成功,最后修改运行终端为command prompt,终于成功。
这时候程序没有报错,但是网站注册数据提取创建excel文件不成功。把出错信息丢给chatgpt,让它找解决办法。
尝试了chatgpt推荐的几个方法,没有成功。放弃,于是让chatgpt不生成excel文件,只输出一个表格。
终于成功!
但是,有一个问题,我只想要AI相关的网站信息,但是这个程序把web3和其他网站信息都爬取下来了。
查看网页源代码,好像没有分成多个网页,所有这些网站都在一个html页面。那就让程序只爬取包含AI网站的div里面内容,修改chatgpt提示词:
然后在虚拟环境中跑这个Python程序
终于大功告成,爬取到真正想要的数据信息。
不过,这些表格信息复制到excel里面就乱了。再尝试让chatgpt整理这些信息然后写入excel表格:
这次运行成功,成功创建如下excel表格,完美的将网页中的信息爬取和整理好了。
一些经验总结:Python编程一定要装Anaconda3,用虚拟环境来运行很多时候出错,都是环境配置有问题用虚拟环境可以完美解决这个问题多次迭代优化由于现实中的情况复杂多变,很少情况下程序一次就跑通,要根据每次返回的错误信息去针对性的修改完善。
如果ChatGPT不能一次性完成设定的目标,就分解成两个甚至多个任务,然后一个个的完成。
很赞哦!(7922)
相关文章
- 小心防范帮你办理币圈海外银行卡骗局。
- “数”说高质量——新华保险投资收益的摩斯密码从小“咬指甲”的孩子,长大后如何了?可能会面临3种结局
- 10倍大牛股利润下滑97%!市值一年多缩水250亿,10万股民受煎熬韩国女星着装再引热议,裤子内侧开衩开到大腿根,网友:像开裆裤
- 城镇职工和城乡居民基本养老保险不能互转?真相来了时隔60年,梦露的露背钻石裙,如今依旧美丽动人,相比梦露缺少了一些韵味
- 做淘宝需要关注哪些数据?具体有哪些数据需要了解?
- 鲲鹏开发者套件DevKit全新升级!鲲鹏昇腾开发者峰会2023举办
- 晁姓股民向天沃科技发起索赔 张云律师接受咨询
- 拼多多股权曝光:黄峥持股26.5% 腾讯持股14.7%
- 你在看电视电视里的SDK也在“看”你:SDK强制授权大量存在欧阳娜娜真敢穿,低领口着实吸睛,窈窕少女青春洋溢
- 淘宝天猫购物红包领取方法~这些红包购物之前都可以领~你知道吗?民国的一块大洋,相当于今天多少钱?家里有的别傻傻被骗了
热门文章
站长推荐
“币圈巨骗”权道亨在黑山被捕,韩国、美国、新加坡展开引渡之争长月烬明:冥夜到死都不知道,桑酒临走的时候对他撒的“谎”
拼多多连续第四年参加上海 “五五购物节”,累计补贴超 120 亿元
经济日报携手京东发布数据——手机市场以创新求突破
假期过半,你还有什么没买?收藏这份徐汇各商场促销购物清单!
运营商大数据,助力于信贷行业主动出击,精准获客
节后旅游股暴跌!五一国内旅游收入破1400亿,等涨停的股民傻眼了5部百看不厌的电视剧,看一集就入坑,每一部都值得熬夜追
如果预算有限,只能买一种保险,怎么买最合适?
曝光!你看智能电视,它藏在里面偷偷“看”你冷军画了一幅画,结果卖了1005万,放大10倍,专家:这根本不是画