レインズから自動取得

まずはじめに

不動産テック企業のリマールエステートとQUAMTUMが、国内で初めて不動産テック市場を網羅的に分析した「不動産テック業界 カオスマップ」を2017年6月1日に発表しました。

不動産テックカオスマップ

図をご覧になってわかる通り、今まで不動産業界を支えていた「物件情報・メディア」「業務支援」のサービス以外にも「マッチング」「価格可視化・査定」等のサービスが頭角を表し盛り上がりをみせています。それらの新規のサービスを具体的に何をしているのかというと物件の価格をインターネットで簡単に調べることができる「価格可視化・査定」サービス。地図上で物件の参考価格を一覧表示できる「HOME’Sプライスマップ」や、リアルタイムに部屋ごとの参考価格が閲覧できる「IESHIL」など、これまでの不動産系のWebサービスにはなかった14個のサービスが取り上げられています。「物件の正確な価格がわからない」「最適な売買のタイミングがわからない」という日本の不動産業界における課題を解決しようと取り組んでいます。

すでに気づいている方もいると思いますが、それらのビッグデータやAI等の技術を用いた日本の不動産テック企業のほとんどがクローラー、スクレイピングによる技術で成り立っているのが実状です。実際に、筆者である私は多くの不動産テック系サービスのスタートアップに、独自クローラー開発メンバーとして多く関わってきました。本題である、レインズ(REINS)から情報を取得するということは不動産テックとして必要不可欠な工程(生の物件の詳細データを提供しなければいけないマッチング系等は特に)です。

レインズ(REINS)をクローリングする上での注意点

まず重要な点はレインズ(REINS)はクローリング、スクレイピング行為を禁止しています。つまりクローリングを行なっていることが特定された場合、最悪なケースで仲介事業ができなくなることも念頭に置かなくてはいけません。いくら多くの企業が(REINS)に対してクローリングを行い、罰せられた前例が表に出ていないとはいえあなたの会社が初になるかもしれません。※過去にオフィシャル上でスクレイピングツールに対しての警告文書があがっています。

UAの偽装やIP分散は意味なし

一般的にアクセス制御やクロール元の特定のを防ぐためにUAの偽装やIPの分散を行いますが、レインズ(REINS)を利用されている方ならご存知の通り、企業毎の専用アカウントを使い観覧するのでクローラーがどんな偽装を行なったとしても簡単に見つかります。

物件詳細ページの観覧は有料です

こちらも不動産業者の方にとっては馴染み深いシステムだと思います。物件の詳細ページ毎に課金されるということは自動でクローリングする度に課金されます。件数の設定にはくれぐれも注意してください。場合によっては取り返しのつかない金額が請求されます。そもそもなぜ有料課金なのかという点ですが、昔は無料で観覧できましたがおそらく、私共のようにプログラムを利用して大量のデータを取得しサーバーに負荷を与えちゃう業者のせいです。

更新情報を追い続けるのはめちゃくちゃ大変

物件情報は常にアップデートされ続けています。家賃等の物件情報はもちろん、成約時にサイトの在庫からおとす処理等も追いかけなくてはいけません。

画像認証の壁を超えなくてはいけない。

画像認証とは

一般的にcapthaが有名ですね。ゆがんだ文字列の画像のような、人間には理解できるがプログラムでは解析しにくい情報を提示して、何が書かれているかを入力させ、正しく答えられているかチェックする仕組みです。レインズもこのしくみが導入されています。

画像認証を突破するためには?

私の知る限り、残念ながら現時点ではこの画像による認証を突破できるオープンソースで公開されているクローリングのプログラムは見たことありません。そもそもクローリングの技術というよりGUIを持つブラウザでブラウジングを行うことが前提となります。もちろんヘッドレスブラウザを使ってもダメです。

どのようにブラウザを操作するのか

お問い合わせください。

まとめ

不動産テックはまだ新しい市場だからこそ、スタートアップ企業やベンチャー企業など新たなプレーヤーにとって今後も大きなチャンスとなり得るでしょう。仮にレインズ掲載情報を官主導でオープンデータ化すれば更なるイノベーションが起こることは間違いないですが、そのような動向は今のところ全くないので・・・こちらからアクションしてしまおう、という方をDIGは陰ながらサポート致します。

Webクローラー、スクレイピングに関してお困りではありませんか?

DIGは他者に断られるような高度なサイト構造&セキュリティ(SPA、IP分散、画像や文字認証の突破)に対しての対策を最も得意としています。

「このサイトはクローリング、自動操作が可能か」等のご相談から技術的なご質問までクローリング、自動化に関してはどんな内容でも構いません。お気軽にお問い合わせください。

 

お問い合わせ
2018-02-17 18:43
下記フォームにご入力の上、送信ボタンを押してください ※【送信】をクリックすることで、弊社のプライバシーポリシーに同意、読んだものとします。...

 






おすすめの記事
DIGについて
下記フォームにご入力の上、送信ボタンを押してください ※【送信】をクリックすることで、弊社のプライバシーポリシーに同意、読んだものとします。...