こんなこともあるのかと・・・。
Amazonで購入した3TBの外付けHDDと近所のハードオフで購入した光BOX3が見事に初期不良品だった。
・HDD MAL33000EX3 3TB @9,890
安さに惹かれてついつい買ってしまい、レビューを見て愕然。
リフレッシュ品とか初期不良の文字が目立つ。
実際HDDとして認識しないし、フォーマットかけてもエラーになるし・・・。
・光BOX3 @1,500
HDMI出力されない。TVにつないでもパソコンモニターにつないでもだめ。
まぁついていないことは重なるものだね。。。
返品できるかなぁ。Orz
2016年8月22日月曜日
2016年7月12日火曜日
でんき家計簿のデータをMySQLに保存する(phantom.jsを使う)
先日、selenium+firefoxを使用したでんき家計簿のスクレイピング をやってみた。
次はphantom.jsを使ってcronで実行できるようにしたいと思った。
といっても、driverの部分を変えるだけ。
最初は、
と書いていたんだけど、cronで実行するとphantom.jsのパスが見つからないと怒られてしまった。
調べてみると、適切な書き方があった。
これを定期的に呼べばいい感じに電力使用量が入手できる。
次はphantom.jsを使ってcronで実行できるようにしたいと思った。
といっても、driverの部分を変えるだけ。
最初は、
var driver = new webdriver.Builder().forBrowser('phantomjs',phantomjs.path).build();
と書いていたんだけど、cronで実行するとphantom.jsのパスが見つからないと怒られてしまった。
調べてみると、適切な書き方があった。
var driver = new webdriver.Builder()
.withCapabilities({"phantomjs.binary.path":phantomjs.path})
.forBrowser('phantomjs')
.build();
これでOK!これを定期的に呼べばいい感じに電力使用量が入手できる。
2016年7月3日日曜日
でんき家計簿のデータをMySQLに保存する
でんき家計簿
というサービスがある。
スマートメーターが設置されていれば、30分間隔の電力使用量が表示できる。
https://www.kakeibo.tepco.co.jp/dk/syo/electricUsage30MinGraph/
これをなんとかMySQLに保存したいと思った。
wgetでもごもごできるかなと思ったけど、認証があるしメンドクセー。
と思って数日経過し、ネットサーフィンしていたら、
すでに実現している人がいた。スゲー。
http://sirrow.info/archives/578
いろいろな技術を使っているのね。
スクレイピングするツール?
https://www.npmjs.com/package/selenium-webdriver
http://www.seleniumhq.org/docs/03_webdriver.jsp#selenium-webdriver-api-commands-and-operations
PhantomJS
http://tips.hecomi.com/entry/20121229/1356785834
http://phantomjs.org/download.html
ふーん。キャプチャできた!
まずは
selenium-webdriver + firefoxででんき家計簿にアクセスしてみる
ほぼ前述の方と同じだ。 Orz
こんな感じ。
得られたデータはこんな感じ。
ひさしぶりにすごいなと思った。
というサービスがある。
スマートメーターが設置されていれば、30分間隔の電力使用量が表示できる。
https://www.kakeibo.tepco.co.jp/dk/syo/electricUsage30MinGraph/
これをなんとかMySQLに保存したいと思った。
wgetでもごもごできるかなと思ったけど、認証があるしメンドクセー。
と思って数日経過し、ネットサーフィンしていたら、
すでに実現している人がいた。スゲー。
http://sirrow.info/archives/578
いろいろな技術を使っているのね。
- minimist・・・コマンド引数パーサー
- selenium-webdriver・・・Web自動テストツールらしい
- phantomjs・・・ブラウザ画面のないQtWebKit ベースのブラウザらしい
スクレイピングするツール?
https://www.npmjs.com/package/selenium-webdriver
http://www.seleniumhq.org/docs/03_webdriver.jsp#selenium-webdriver-api-commands-and-operations
PhantomJS
http://tips.hecomi.com/entry/20121229/1356785834
http://phantomjs.org/download.html
ふーん。キャプチャできた!
まずは
selenium-webdriver + firefoxででんき家計簿にアクセスしてみる
ほぼ前述の方と同じだ。 Orz
こんな感じ。
得られたデータはこんな感じ。
ひさしぶりにすごいなと思った。
登録:
投稿 (Atom)




