如何用python爬取电影链接_python怎么抓取豆瓣电影url

Ⅰ python怎么抓取豆瓣电影url

#!/usr/bin/env python2.7# encoding=utf-8"""爬取豆瓣电影TOP250 - 完整示例代码"""import codecsimport requestsfrom bs4 import BeautifulSoupDOWNLOAD_URL = 'httn.com/top250/'def download_page(url):return requests.get(url, headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'}).contentdef parse_html(html):soup = BeautifulSoup(html)movie_list_soup = soup.find('ol', attrs={'class': 'grid_view'})movie_name_list = [] for movie_li in movie_list_soup.find_all('li'):detail = movie_li.find('div', attrs={'class': 'hd'})movie_name = detail.find('span', attrs={'class': 'title'}).getText()movie_name_list.append(movie_name)next_page = soup.find('span', attrs={'class': 'next'}).find('a') if next_page: return movie_name_list, DOWNLOAD_URL + next_page['href'] return movie_name_list, Nonedef main():url = DOWNLOAD_URL with codecs.open('movies', 'wb', encoding='utf-8') as fp: while url:html = download_page(url)movies, url = parse_html(html)fp.write(u'{movies}\n'.format(movies='\n'.join(movies)))if __name__ == '__main__':main()0414243444546474849505152简单说明下，在目录下会生成一个文档存放电影名。python2

Ⅱ python爬取豆辫电影时候怎么样找到影片的url

看你爬什么咯？如果是网页，那就是页面代码；如果是制定内容，那爬取的时候就给定匹配的关键字，返回你指定的数据（字串，list，json都可以）

Ⅲ python怎么爬取最受欢迎的电影数据

在开发者工具中观察到该请求的Status Code是302，Response Headers中Location是该预告片的真正地址（该地址是时间的函数，不唯一！ 但测试表明不同时间生成的不同的地址都能下载该预告片！

Ⅳ 如何用python的selenium提取页面所有资源加载的链接

用浏览器打开你那个连接（完整加载），通过查看源找到你要的数据(记住标记，比如某个元素)，selenium+python获取到页面代码再去判断查找你的标记就知道是否加载完了。

Ⅳ python怎么获取动态网页链接

四中方法：'''得到当前页面所有连接''' import requests import refrom bs4 import BeautifulSoupfrom lxml import etreefrom selenium import webdriver url = 'http://www.ok226.com'r = requests.get(url)r.encoding = 'gb2312'# 利用 re matchs = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" , r.text)for link in matchs: print(link) print()# 利用 BeautifulSoup4 （DOM树）soup = BeautifulSoup(r.text,'lxml')for a in soup.find_all('a'): link = a['href'] print(link) print()# 利用 lxml.etree （XPath）tree = etree.HTML(r.text)for link in tree.xpath("//@href"): print(link) print()# 利用selenium（要开浏览器！）driver = webdriver.Firefox()driver.get(url)for link in driver.find_elements_by_tag_name("a"): print(link.get_attribute("href"))driver.close()

Ⅵ python 爬虫求教

粗略看了下，你实际爬取评分的时候因为star下面的子节点有多个相同的标签。因此你不能用爬取电影名称的方式爬取评分。标签的contents属性你可以用上，因为contents属性可以将tag的子节点以列表的方式输出

参考代码如下(我并未验证，只是参考官方文档来写的。你可以用这段代码去试试，如果对了，麻烦采纳)：