まずはじめに
はじめまして。DIGと申します。
上場IT企業の部長職を経てフリーランスになりました。Webクローラーの開発・運用を行なっています。独自開発したWEBブラウザ自動操作エンジンにより、javascriptによるコンテンツ生成、画像認証先でもクローリングし続けるWEBクローラを開発しています。もし他社で断られてしまった高度なサイト構造&セキュリティへのwebクローリング・スクレイピング・監視・自動操作のご要望がございましたら是非DIGへお任せください。
よくある障壁であるIP切り替え、 js・iframe生成、 画像認証、reCaptha、座標操作、OCR等を同時に対策するパターンも対応可能です。
得意とするオープンソース
Linuxを中心にOSからアプリケーション、データベースまでオープンソースの技術を使い、多くの要件を満たすクローラーを低コストで構築できます。
OS
Linux（RedHat、CentOS等）
ミドルウェア
VMware、Apache、Nginx、Hadoop等
データベース
MySQL、PostgerSQL、Realtime Database、Firestore
プログラミング言語
Go、Python、PHP、 Ruby、Javascript、 HTML,、CSS、 SQL、 SPARQL、 Android/Java、 iOS/Swift等
フレームワーク
Codeigniter、Laravel、CakePHP、Ruby on Rails、Vue、React等
その他
WordPress、Git、JSON、Web API、Facebook API等
クローラーを作りたい・スクレイピングをしたい方へ
プロのエンジニアの方、将来プログラマーを目指してる方で「クローラーを作りたい人、興味がある人」と つながれたらうれしいです。 お気軽にメッセージ頂ければ幸いです。
