• Home
  • Go でポケモンWikiをスクレイピング

Go でポケモンWikiをスクレイピング

thumbnail

Go でポケモンWikiをスクレイピング

Authors: ykk

❌ Unsupported block (link_preview)

成果物の共有

「scraping-pokemon」は、ポケモンの日本語名と英語名をウェブページからスクレイピングして取得し、JSON形式で出力するツールです。多くのポケモンの名前が異なる言語で異なる名称を持っているため、このツールはそういった情報を簡単に取得するためのものです。特定のウェブページから、ポケモンの日本語名と英語名のペアを効率的に抜き出すことができます。

使用した技術

  • Go (Golang): ツールの主要なプログラミング言語として使用。Goはその高い実行速度と並行処理能力で知られています。
  • Colly: Goでのウェブスクレイピングに特化したライブラリ。使いやすさと効率性で選びました。
  • 工夫した点

  • データのソート: データを図鑑番号順にソートすることで、出力されるJSONが整然としています。これにより、データの参照や利用が容易になります。
  • クロール間隔の設定: robots.txt を確認して適切なクロール間隔を設定しました。
  • ChatGPTの活用: すべてを自身で実装するのではなく、ChatGPT を活用して開発期間を短縮しました。
  • 雑記

    今回今後の個人開発で利用する目的でポケモンの日本語名と英語名のペアを作成するコードを実装しました。

    参考にした他の記事やこれまでの経験だと、スクレイピングには Python を利用してきましたが最近は Go を使った開発を行っているので Go で実装してみました。

    世代が増えるごとにデータが古くなっていくので、データの最新化を行う仕組みを検討したいと思います。

    avatar

    PROFILE

    ykk

    Engineer / Japan 好きなものはカレーと King Gnu

    TAG