BeautifulSoupでhtmlを場所指定で渡そうとしたら警告

blogger.htmlというファイルをsoupに渡したいときに、

soup_blogger = BeautifulSoup('./blogger.html', 'html.parser')

とやろうとしたらエラー

...anaconda3/lib/python3.6/site-packages/bs4/__init__.py:219: UserWarning: "b'./blogger.html'" looks like a filename, not markup. You shouldprobably open this file and pass the filehandle intoBeautiful Soup.
  'Beautiful Soup.' % markup)

 
ファイル名で開かないでマークアップを渡すためにopen で開いてください、ということでした。

with open('./blogger.html') as f:
    soup_blogger = BeautifulSoup(f, 'html.parser')

[日誌]メルカリの検索スクレイピングを作った(コードなし)

新しいことに手を付けすぎな感もありますが、Djangoをさわってみることに。チュートリアルを少しずつやろうかと。first appの1まで終了。

--

pythonでメルカリの検索スクレイピングを作りました。

コードを書くと、なんとなくまずそうなので割愛。ヘッドレスを使うとまぁなんとかなりますね。

from selenium import webdriver
import requests
from bs4 import BeautifulSoup

らへんでスクレイピングして、タイマー動作させて差分を抽出、という感じです。

そんなに大掛かりな検索はしていなくて、自分がいつも検索するキーワードの出品物の新着を見ているだけ。1日多くても10出品くらいです。

selenium geckodriverを入れる

python  seleniumでのスクレイピングで、Chromeを使っていたのをFirefoxに変えました。理由は特にないです。

from selenium import webdriver 

# driver = webdriver.Chrome('/usr/local/bin/chromedriver')　# chrom
driver = webdriver.Firefox('/usr/local/bin'

chromedriver　の代わりのWebドライバとして、 geckodriverをダウンロード、PATHの通ったフォルダに入れたら終了。

OSError: [Errno 8] Exec format error

というエラーが出ていたのですが、単に自分の環境linux64に合っていないバージョンのものを間違えてダウンロードしていたのが原因でした。


このQAの

Looks like this is complaining about the format of chromedriver binary. It might be because of platform and chromedriver format mismatch. For example windows requires chromedriver.exe while there are different formats for linux and mac.

というところを見て意味が分かりました。

ドットインストールのレッスンの人気ランキング

最近、dotinstallをやっているのですが、レッスン数はトータルで306、ビデオ5000超ということで非常に多いな、と。

各レッスン毎に「全ユーザーの学習状況」という項目があり、「HTML入門」であれば、

完了済

16,451

学習中

40,135

閲覧数

3,916,075

となっています。

これを306レッスンで比較してみよう、という試みです。データはBeautifulSoupを使って抜き出し(省略)

完了済のレッスンを上位10まで並べてみます。

lesson name	完了済
【サポート終了】ドットインストール入門 (全1回)	37597
【旧版】HTML入門 (全22回)	19330
HTML入門 (全24回)	16316
JavaScript入門 (全24回)	13449
【旧版】CSS入門 (全20回)	13116
【旧版】JavaScript入門 (全25回)	12960
【旧版】HTML入門 (全16回)	10885
【旧版】実践！ウェブサイトを作ろう (全16回)	9076
【旧版】CSS3入門 (全19回)	8894
UNIXコマンド入門 (一般ユーザー編) (全16回)	8252

・・・やり初めてから気づいたのですが。旧版は別名のレッスンとしてカウントされているようで、少し考えどころかもしれません。