2018-08-06

Web スクレイピングではてなブロググループのブログ一覧を取得する

Name: 笑うかど
Address: 薬院1-11-3 福一第2ビル2F, 福岡市中央区, 福岡県, 810-0022, JP
Telephone: 092-791-8908

はてなブロググループに登録しているブログの一覧を、 Web スクレイピングで取得するサンプルを書いてみた。 HTML のパースには AngleSharp を使用。

using AngleSharp.Dom.Html;
using AngleSharp.Parser.Html;
using System;
using System.Linq;
using System.Net.Http;
using System.Threading.Tasks;

namespace CrawlerSample
{
    class Program
    {
        static void Main(string[] args)
        {
            Console.Title = "CrawlerSample";

            MainAsync().GetAwaiter().GetResult();

            Console.WriteLine("Enter で終了します。");
            Console.ReadLine();
        }

        static async Task MainAsync()
        {
            // はてなブロググループの「プログラミング」グループを対象にする。
            var baseUrl = "http://hatenablog.com/g/11696248318754550880/blogs";
            var client = new HttpClient();
            var parser = new HtmlParser();
            var requestUrl = baseUrl;

            // 全ページ取得したら攻撃になってしまうので、
            // 3 ページぶんに留めておく。
            for (var i = 0; i < 3; i++)
            {
                // はてなグループブログ一覧の HTML をダウンロードしてパースする。
                var body = await client.GetStringAsync(requestUrl);
                var document = await parser.ParseAsync(body);

                // ブログ一覧からブログタイトルとリンクを取り出す。
                // はてなブロググループのブログ一覧は class を cllass にタイポしてるので、
                // cllass 属性で検索する。
                var elements = document.QuerySelectorAll("[cllass=blog-list-content] > a");
                var anchors = elements.Cast<IHtmlAnchorElement>();
                foreach (var a in anchors)
                {
                    Console.WriteLine(a.TextContent);
                    Console.WriteLine(a.Href);
                    Console.WriteLine();
                }

                // 次ページへのリンクがあればクロールを続ける。
                // 次ページが無ければ終了。
                var next = document.QuerySelector(".more > a") as IHtmlAnchorElement;
                if (next != null)
                {
                    requestUrl = baseUrl + next.Search; // クエリ文字列の部分を足す
                }
                else
                {
                    break;
                }
            }
        }
    }
}

実行結果は下の通り。

f:id:griefworker:20180803140534p:plain

AngleSharp はセレクタ API が使えるので、目的の要素をサクッと取得できた。 LINQ もいいけど、DOM 操作はセレクタ API が主流なので、知識を流用できてスバラシイ。

2018-08-03

はてなブログの RSS フィードをダウンロードしてパースする

はてなブログの RSS フィードをダウンロードしてパースするサンプルを書いてみた。 RSS フィードのダウンロードは HttpClient.GetStringAsync で一発。 RSS フィードは所詮 XML なので、パースは LINQ to XML でこれまた一発。

簡単過ぎてわざわざブログに書くまでもないかと思ったけど、 LINQ to XML 使う箇所はうっかり忘れてしまいそうな気がしたので、外部記憶として書いておくことにした。

using System;
using System.Linq;
using System.Net.Http;
using System.Threading.Tasks;
using System.Xml.Linq;

namespace RssSample
{
    class Program
    {
        static void Main(string[] args)
        {
            Console.Title = "RssSample";

            MainAsync().GetAwaiter().GetResult();

            Console.ReadLine();
        }

        static async Task MainAsync()
        {
            var client = new HttpClient();

            var rss = await client.GetStringAsync(
                "https://tnakamura.hatenablog.com/rss");

            var xdoc = XDocument.Parse(rss);

            var items = from a in xdoc.Descendants()
                        where a.Name == "item"
                        let title = from b in a.Descendants()
                                    where b.Name == "title"
                                    select b.Value
                        let link = from c in a.Descendants()
                                   where c.Name == "link"
                                   select c.Value
                        select new Item
                        {
                            Title = title.FirstOrDefault(),
                            Link = link.FirstOrDefault(),
                        };

            foreach (var i in items)
            {
                Console.WriteLine(i.Title);
                Console.WriteLine(i.Link);
                Console.WriteLine();
            }
        }
    }

    public class Item
    {
        public string Title { get; set; }

        public string Link { get; set; }
    }
}

実行結果は下の通り。

f:id:griefworker:20180802164727p:plain

今回選んだのがはてなブログだったというだけで、 URL さえ分かっていれば他の RSS フィードでも同じようにダウンロードしてパースできる。

2018-08-02

『ゴールデンゴールド(1)〜(4)』を読んだ

読書

Kindle 版の 1 巻が無料だったのを見つけて、そういえば「このマンガがすごい！」で紹介されていたなと思い出し、試しに読んでみたらハマってしまった。 4 巻まで一気に読んでしまった。

[まとめ買い] ゴールデンゴールド

どんなマンガかは、Amazon に載っている公式のあらすじを引用。

福の神伝説が残る島・寧島で暮らす中2の少女、早坂琉花。ある日、海辺で見つけた奇妙な置物を持ち帰った彼女は、ある「願い」を込めて、それを山の中の祠に置く。すると、彼女の目の前には、“フクノカミ”によく似た異形が現れた――。幼なじみを繋ぎ止めるため、少女が抱いた小さな願いが、この島を欲望まみれにすることになる。

ジャンルは正直わからない。ホラーのような気もするけど、違う気もする。

人とお金を吸い寄せるフクノカミの影響を受け、祖母の町子や幼なじみの及川をはじめ、島のみんなが次第におかしくなっていく。お金の魔力に狂わされていったのか、それともフクノカミに操られているのか。今のところ両方って感じだ。町子の顔がたまにフクノカミになったりするし。

フクノカミは不気味だけど、どこか可愛らしさがある。昔、キモカワイイという言葉があったと記憶しているが、それにちなんでブキミカワイイとでも言おうか。どうも琉花の願いを叶えようとしているみたいで、憎めないところがある。それが存在意義みたいなものなんだろうけど。

町子たちを正気に戻すために、島の歴史からフクノカミについて調べたり、閉じ込めようとしたりするものの、どれもうまくいかず、フクノカミの影響はどんどん広がって行く。フクノカミを狙う人物まで登場し、この先どうなるのか読めない。このままいくとバッドエンドになりそうな予感がする。それだとちょっと救いがないので、せめて琉花だけでも救われる展開であってほしい。

[まとめ買い] ゴールデンゴールド