スクレイピングでのコンテンツ作成な週末
プログラムデー
金曜日から簡単なプログラミングをしていました。
データベースの作成をスクレイピングでやってしまおうと思い、
PHPでさくっとできるだろうと思いきや、ログインシステムを突破できない・・・
PHPでは自分には無理そうだったので、
ここは、、、、エクセルVBAの出番です・・・・・
エクセルでスクレイピングができるということを知っておくのは大事。
が、エクセルとかインストールしてない。。
－－
さっそく購入
さくっとダウンロード版を購入して、久々のエクセルVBAを。
エクセルのVBA操作なら仕事でやっていたので得意なものですが、
IE（インターネットエクスプローラー）の操作は初めて。
昔にたまたま書籍（これ）を買っていたので、
それを見て、ＷＥＢでも見て、しっかり勉強・・・
相変わらず、本当に欲しいところの説明が無くて発狂する。。
－－
簡単な方から
スクレイピングは２サイトやるのですが、
ＶＢＡの練習として、まずは簡単な方からやってみた。
ところがところがところが、、
ダウンロードしたいページがPOST送信必須・・・
また勉強して、ソースを書いて、POSTデータを探して、、、
よ、ようやくスクレイピングできた・・・
面倒なのでHTMLタグ内全部取得しています。
そうすればローカルで好きに処理できるので、一番確実。
正規表現での置換でも、再度ＶＢＡでタグだけ取得してもＯＫ。
－－
あとはもう一つ。
ＩＥで動かすので、自力でログインすれば、
あとは普通にスクレイピングできそうです。
※試しに一つだけやると、簡単にできました。
心配なのは、サーバー側での異常アクセス対策。
Googleみたいにロボット対策されていたらかなり面倒です。
Bingくらいの緩いシステムであってほしい。
もちろん、著作権問題ないデータを集計して、自分のものにします。
－－
加工は必須
そのままコピペだと重複コンテンツとして無意味なので、
このデータに付け加えないと使えません。
プログラミングができても、この加工をするセンスがないとダメ。
今回は一つは記事量産として利用するので、またＳＥＯが楽しいところです。
どうやってコピペコンテンツを１位にするか？
材料は皆同じ。いかに調理するか？という勝負。
もう一つは趣味の新しいサイトのデータの更新です。
これをやらないと、データベースをコピペされたらおしまい。
優位性を保つべく、プログラミングができないと更新が無理なデータを載せます。
こういう一手間が大事。
※スクレイピングで激戦ジャンルを攻めてみたくなった
コメント
-
名前:ruby :2017/01/15(日) 01:34
パルさまこんばんは。
一つご報告がありまして、rubylogに書きたいことは全て書いたので、もしよろしければお読みいただけると幸いです。
実は、一度全てをリセットすることにしました。
目標の再設定が必要だと感じたからです。やはり、今までの流れのまま先に進むのは自分としてはできないとはっきりわかりました。
簡単に言うと、自分はユーザービリティを重視出来ない人間ということもはっきりとわかった気がします。
こんなにパル様にアドバイスいただいたのに、途中で投げ出すのは本当に申し訳ない気持ちでいっぱいです。でも、多分今のまま続けても苦しい気持ちばかりが先行して、良くないことが起こっちゃいそうです。
あ、人生を断つとかそういう意味ではないですよ。思えば、自分の力でお金を稼ぎ始めたのはアフィリをやりだす更に2年以上前、今から8年位前の話になります。
あの頃は車のLEDパーツを自作して、ヤフオクで販売していました。
部品を作るのはもともと趣味で、そしてその頃ちょうど最初の子供を授かったこともあり、少しでもお金を貯めようと始めたのがきっかけでした。
その後子供が生まれ、小さな車の部品を赤ちゃんの近くに置いておけず、そして毎日必ず作業しないといけないということが難しくなり、インターネットでアフィリエイトを知ったんですね。
そしてそのアフィリエイトを初めて1年くらいで、実力もないのに偶然PPCアフィリが大当たりし、月に20万程度の稼ぎになりました。ですがそれは2年ほどで崩壊し、ほぼ全てのアフィリ収入がなくなりました。
それ以降、まっとうにコンテンツアフィリで稼ごうとし、現在にいたったわけですが、成果は出ず、焦りばかりが先行していきました。
そしてそのコンテンツアフィリもやっぱり稼げないと辛い気持ちのほうが強くなってしまい、その上自分の性格上、無理をして誰かの役に立つ記事を書いていたということもあり、もう周りがまるで見えない状態になってしまっていました。年末年始も地元の知り合いに合う時間があるくらいなら、ブログ記事のネタを考えようとしてしまうくらいに。
正直、今の僕は人として終わっていると自分でも思っています。
ですから一度全てをなくしてしまおうと。
人の心を取り戻してから、改めて再スタートを切ろうと心に決め、rubylog休止宣言記事を書きました。
パル様には本当にお世話になりましたし、これからもお付き合いさせていただきたいと思っています。オフ会したいですし！
ですから、その前に、もう一度胸を張って歩けるよう、ゼロから出直したいと思います。
rubylogへのリンク、申し訳ないですが、剥がして頂いて構いません。SEO上良くないでしょうし。
本当に自分勝手なお願いで申し訳ありません。
でも、必ず復活します。今度は自分らしいやり方で。
今まで本当にありがとうございました。そしてこれからもどうぞよろしくお願いします！！！！！！！！！
-
名前:パル＠管理人 :2017/01/15(日) 22:30
rubyさんこんばんは！
休止、了解です。
しかし、、驚きです（汗昨日に作業中のデスクトップパソコンの電源コードを誤って抜いたのですが、
それを上回る驚きです。。悩みながらアフィリエイトを続けていて、
その分の無理が続いたツケが回ってきたのかもしれません。。
多少はサイト作成大好き人間の自分の影響もあるとは思いますが・・・アフィリエイトは時間をかけるほど儲かる仕事とも言えるので、
友人との遊びや趣味、子供を放置してまで、「やらないといけない感」になってしまいます。
自分も同じで、リーマン時代も今も遊び・子供との時間はかなり犠牲にしています。これはもう、この力仕事的なアフィリエイトでは避けられないものなので、
これが辛いとなると、継続は厳しいと思います。
特に、今が一番子供とのふれ合いが大事な時ですもんね。。一度休憩は全然良いと思います。
自分も嫌になった時は３ヶ月放置とかしていましたし。。
リーマンのアフィリエイトはサボるのが普通です。自分もこのブログの前身となる日記サイトを一度閉鎖したことがありました。
それが、「忙しくて日記を書けないストレス」を無くそうとして。。
ずっと「書かなきゃいけない」と思いながら過ごすのは地味に辛いことで、
こんな状況が今のrubyさんなのかもしれないなとも感じています。アフィリエイトから離れて、
好きな時に好きなことをやるサイト作成にチェンジできると良いなと思います。
自分の子供と遊べるサイトを作ってみたりと、本当に楽しいサイト作成を見つけて・・・そう！これを機に、是非PHPの勉強をしてみてください。
いつか、やりたいことが見つかった時に、PHPが役に立つはずです。このブログはＳＥＯは全くしていないのでリンクはそのままでも良いのですが、
「リセット」という雰囲気を出すために、一週間後ほどに一度外すことにします。別に誰からも怒られず責められないことことなので、
そう気張らずにまったりゆっくりやっていきましょう！北海道オフ会は楽しみにしています！