forum-dl

取得したデータはJSONL、mailbox、WARCの各形式でエクスポートすることが可能です。用途に合わせて最適なファイル形式を選択して利用できます。

Discourse、phpBB、SimpleMachinesなどの主要な掲示板ソフトウェアや、ニュースアグリゲーター、メールアーカイブなどに対応しています。

フォーラムやニュースサイトから投稿やスレッドをスクレイピングし、構造化されたデータとして抽出・保存することを主な目的としています。

このツールはPythonで記述されています。開発者はPython環境を用いてスクレイピング処理を実行することが可能です。

forum-dlの標準機能を土台に、自社データとの連携、画面、自動処理、通知などを組み合わせた仕組みを作れます。用途を伺えば、実現できる範囲と進め方を具体的にお伝えします。

可能です。要件と稼働環境を確認し、最短1営業日で動くデモをお出しします。発注後はサーバー設置と稼働確認まで一つの流れで対応し、ソースコードごとお渡しします。