データ取得

データサイエンスにおいて、最も難しく重要な部分は、間違いなくデータを取得し前処理することです。残念ながら、この世にどのようなデータが存在し、どのようにして取得できるかを教える授業は多くありません。

マーク	細分類
😀	アクセスしやすい
😡	アクセスしにくい
🔰	初心者向け
👨‍🎓	専門家向け推奨
👍	強く推奨

👍を乱発すると意味がなくなるため、希少性を維持するために10ポストごとに1つだけ付与されます。

マークだけを見ると、👍だけをたどればいいのではないかと思われるかもしれませんが、データの世界はそれほど単純ではありません。あなたがしたいことにぴったり合ったデータは通常この世に存在せず、不足している場合は、その不足に対処し、利用可能なものを使用する以外に選択肢がないことがよくあります。同じようなデータでも選択肢が多いほど良く、悪いデータでも何もないよりは良いです。

構造化データ

環境ビッグデータプラットフォーム : 環境データマーケットプレイスを提供しています。マーケットプレイスと呼ばれていますが、無料データもたくさんあり、使い方次第です。(2021.08.02)
気象資料開放ポータル 👨‍🎓🔰: 気象データおよび災害関連データを提供します。(2021.08.03)
👍 Our World in Data 😀🔰: 一般社会に関する様々な分野の数百種類の年次データを、国と年ごとに無料で提供しています。特にCOVID-19に関する世界的なデータと統計を提供しています。(2021.12.30)
Baseball Savant: アメリカのメジャーリーグ（MLB）に関連するデータを提供しています。(2024.07.30)
KOSIS 国家データポータル: 統計庁が提供する統計サービスです。韓国で公式的に入手可能なほとんどのデータはKOSISで見つけることができます。国内データを使用する場合は必ず知っておくべきサイトです。(2024.08.23)
The Materials Project (MP): 様々な無機材料の物性に関するデータを提供します。(2026.02.02)
- Pythonで API を使用する
- APIからデータをクエリする方法

時系列

investing.com 😀🔰: Investing.comは世界的な金融情報ウェブサイトで、KOSPI、KOSDAQなどの株式のチャート情報を無料で便利に提供しています。(2021.07.30)
CYBOS Plus 😡👨‍🎓: 大宇証券のOpen APIで、株式コード、終値、時価総額、機関別純買付などの日次または実時間時系列データを含む、トレーディングシステムで必要となるほぼすべての情報と機能を提供します。(2021.07.15)
🔒(26/04/14)HYCOM紹介 😡: 世界中の海洋について、海面温度、高さ、流速、深さ別水温などを多次元テンソルの形式で提供しています。(2026.03.19)
- 🔒(26/04/18)JuliaでHTTPプロトコルを介してHYCOM海洋データをダウンロードする方法

韓国の地方自治体

D-データハブ 😀: 大邱地域の公共データを提供しています。4,000以上のデータセットと13,000以上のサービスを提供しています。(2021.06.08)
昌原市ビッグデータポータル: 昌原地域の12カテゴリー、172データセットおよびビッグデータスタジオ、商圏分析などのサービスを提供しています。(2021.07.30)

非構造化データ

AI Hub 👨‍🎓: AI学習用のデータを提供します。音声/自然言語、ビジョン、ヘルスケア、自動運転、安全、農水産、国土環境、教育などの分野で画像、ビデオ、テキスト、オーディオ、3D、センサーデータなど様々な形式を扱っています。(2021.07.14)
kaggle 😀🔰: 世界で最も有名なオープンデータハブで、数え切れないほどの多様なデータを公開し、多くの小規模なコンペティションも開催しています。(2021.07.15)
- APIでデータを受け取る方法、OSError: Could not find kaggle.json を解決
KDX 韓国データ取引所 😡👨‍🎓: 一般的なデータハブと異なり、有料でデータを販売する企業です。有料である分、韓国の実情に合ったデータの量と質は最高レベルであり、無料データもかなり販売されています。(2021.08.06)

ネットワーク

SEES:lab 👨‍🎓: 空港、メールなどのネットワークに関するデータがきれいに整理されています。(2021.12.31)
スタンフォード大学ネットワーク分析プロジェクト 👨‍🎓: スタンフォード大学が保守するネットワーク分析/マイニングライブラリで、大規模ネットワークと呼べるネットワークデータを提供しています。(2022.01.04)
OpenFlights: 世界中の空港と航空網に関するデータを提供しています。いくつかの前処理が必要ですが、このレベルのネットワークデータは意外と一般的ではありません。(2022.01.10)
マーク・ニューマンネットワークデータ 😡: 有名なマーク・ニューマンのネットワークデータセットにアクセスできます。投稿された研究に関連する23種類のネットワークが公開されています。(2022.01.10)
World Pop: 世界的な航空網ネットワーク、国際的な移民統計、都市化、年齢および性別構造などのデータを提供しています。(2022.01.04)
Web of Life: 寄生、共生、捕食関係などの生態系ネットワークデータを提供しています。(2024.07.30)
ネットワークデータリポジトリ: 30以上のトピックにわたる数千もの多様なネットワークを提供しています。(2024.08.01)

地理情報

ITS 国家交通情報センター 😀👨‍🎓: 国内の交通流通、工事事故、CCTV、交通予測、車両検知器、VMS、交通安全補助、可変速度標識、脆弱区間情報および全国標準ノードリンクを提供しています。(2021.08.03)
👍 GIS DEVELOPER 👨‍🎓: GIS専門家で開発者のキム・ヒョンジュンさんが運営するブログです。少なくとも韓国データを使用するプロジェクトでは、この方の助けなしでは何もできないと言っても過言ではありません。(2023.01.10)
行政標準コード管理システム: 具体的な地理情報ではありませんが、地理情報に対応するデータとして最も重要な「法定洞コード」のリストを取得できます。(2024.08.23)
国別ISO3と緯度経度データ: 世界中に必要なISOコードと緯度経度を取得できます。(2025.05.16)

全體ポスト