政府統計の総合窓口e-Stat
http://www.e-stat.go.jp/SG1/estat/eStatTopPortal.do
総務省(産業・雇用、地方財政・税収)
http://www.soumu.go.jp/menu_seisaku/toukei/
統計局(国勢、経済センサス、人口、住宅・土地、家計、物価、労働力ほか)
http://www.stat.go.jp/data/
情報通信統計データベース
http://www.soumu.go.jp/johotsusintokei/statistics/
厚生労働省(人口、出征、世帯、家庭、患者、健康、感染症ほか)
http://www.mhlw.go.jp/toukei/itiran/
農林水産省(農業、畜産、林業、水産業ほか)
http://www.maff.go.jp/j/tokei/
林野庁統計情報(森林資源、林業経営、林産物・木材産業ほか)
http://www.rinya.maff.go.jp/j/kouhou/toukei/
国際連合食料農業機関FAO統計 FAOSTAT(生産、貿易、需給バランス、価格、投資ほか)
http://faostat3.fao.org/home/E
経済産業省(工業、商業、量販店、特定サービス産業ほか)
http://www.meti.go.jp/statistics/
資源エネルギー庁(エネルギー、灯油、プロパンガス、電力ほか)
http://www.enecho.meti.go.jp/statistics/
国土交通省(交通、土地、建設、住宅、幹線旅客流動ほか)
http://www.mlit.go.jp/statistics/details/
水管理・国土保全(流況、水害、土砂災害、河川ゴミ・水質ほか)
http://www.mlit.go.jp/river/toukei_chousa/
環境省(温暖化対策、大気汚染、水質汚濁、地下水、廃棄物・リサイクル、公害健康被害、環境保全地区、生物多様性ほか)
http://www.env.go.jp/doc/toukei/
Tuesday, May 22, 2018
APIで提供されるデータ
【徹底解説】Web APIの使い方まとめ>Web APIの主なサービス例 2017
https://itpropartners.com/blog/8546/#Web_API-4
天気予報
気象情報API比較してみた
http://qiita.com/Barbara/items/93ae7969691164c7c2bc
- OpenWeatherMap
本ブログ内:https://earthsimulation.blogspot.com/2018/03/openweathermap.html
- WeatherUnderGround
https://www.wunderground.com/
- DarkSky
https://darksky.net/forecast/40.7127,-74.0059/us12/en
- Forecast
http://forecast.io/
- NOAAのAPI
https://www.ncdc.noaa.gov/cdo-web/webservices/v2
- ProgrammanleWeb
NCEP Forecast API(ProgrammableWeb)
https://www.programmableweb.com/api/ncep-forecast
三日間の天気予報
https://www.programmableweb.com/api/openweathermap-16-day-weather-forecast
16日予測
- AccuWeather API
https://developer.accuweather.com/accuweather-forecast-api/apis
15日予測
JAXA OPEN API(休止中。しずく、GSMaP)
http://www.sapc.jaxa.jp/jaxa_api/
https://repository.exst.jaxa.jp/dspace/bitstream/a-is/561531/1/AA1630012013.pdf
宇宙API(これはデータAPIではない?)
https://www.spaceapi.info/
標高API(国土地理院)
https://maps.gsi.go.jp/development/api.html
EqCare Type-G:津波速報(REST API/WebSocket API)
https://doc01.pf.iij-engineering.co.jp/pub/sdkdoc/v1/ja_JP/index.html
USGUのAPI(水系、洪水警報、地下水、堆積物、海面上昇、衛星データ)
https://www.usgs.gov/products/data-and-tools/apis
政府統計API(e-Stat)
http://www.e-stat.go.jp/api/
提供する統計データの種類
http://www.e-stat.go.jp/api/api-data/
米政府データのAPI
https://www.data.gov/developers/apis
https://itpropartners.com/blog/8546/#Web_API-4
天気予報
気象情報API比較してみた
http://qiita.com/Barbara/items/93ae7969691164c7c2bc
- OpenWeatherMap
本ブログ内:https://earthsimulation.blogspot.com/2018/03/openweathermap.html
- WeatherUnderGround
https://www.wunderground.com/
- DarkSky
https://darksky.net/forecast/40.7127,-74.0059/us12/en
- Forecast
http://forecast.io/
- NOAAのAPI
https://www.ncdc.noaa.gov/cdo-web/webservices/v2
- ProgrammanleWeb
NCEP Forecast API(ProgrammableWeb)
https://www.programmableweb.com/api/ncep-forecast
三日間の天気予報
https://www.programmableweb.com/api/openweathermap-16-day-weather-forecast
16日予測
- AccuWeather API
https://developer.accuweather.com/accuweather-forecast-api/apis
15日予測
JAXA OPEN API(休止中。しずく、GSMaP)
http://www.sapc.jaxa.jp/jaxa_api/
https://repository.exst.jaxa.jp/dspace/bitstream/a-is/561531/1/AA1630012013.pdf
宇宙API(これはデータAPIではない?)
https://www.spaceapi.info/
標高API(国土地理院)
https://maps.gsi.go.jp/development/api.html
EqCare Type-G:津波速報(REST API/WebSocket API)
https://doc01.pf.iij-engineering.co.jp/pub/sdkdoc/v1/ja_JP/index.html
USGUのAPI(水系、洪水警報、地下水、堆積物、海面上昇、衛星データ)
https://www.usgs.gov/products/data-and-tools/apis
政府統計API(e-Stat)
http://www.e-stat.go.jp/api/
提供する統計データの種類
http://www.e-stat.go.jp/api/api-data/
米政府データのAPI
https://www.data.gov/developers/apis
カタログ/メタデータ
静的データについては、国際標準化団体 W3C がDCAT等のメタデータ定義を整備している。
動的データについては、W3C Semantic Sensor Network、IEEE:P2413 等のメタデータ定義を踏まえて要検討。
http://www.soumu.go.jp/main_content/000483319.pdf
参考資料にDATA.GO.JP、データ取引契約ガイドラインの例がある(CKANをベース)。
動的データについては、W3C Semantic Sensor Network、IEEE:P2413 等のメタデータ定義を踏まえて要検討。
http://www.soumu.go.jp/main_content/000483319.pdf
参考資料にDATA.GO.JP、データ取引契約ガイドラインの例がある(CKANをベース)。
データ流通プラットフォームのAPI
-
データ流通プラットフォーム間で相互連携するためのAPI
- http://www.soumu.go.jp/main_content/000483319.pdf
のp.8 - http://www.soumu.go.jp/main_content/000483319.pdf
の参考資料の③
・プロトコル
・データレスポンス形式としてはXML形式、JSON形式等が用意されていることが望ましい。
・
●カタログ用API
●データ提供用API
(データ要求・取得インタフェースAPI)
インタオペラビリティ
●日本:IMI: Infrastructure for Multi-layer Interoperability(情報共有基盤)
https://imi.go.jp/
「共通語彙基盤」と「文字情報基盤」からなる。 経済産業省が設置しIPAが事務局を担当する「情報共有基盤推進委員会」のもとで実施。
https://opendata.ipa.go.jp/
●米国:NIEM(National Information Exchange Model)
https://www.niem.gov/
●欧州:SEMIC(Semantic interoperability Community)
https://joinup.ec.europa.eu/collection/semantic-interoperability-community-semic
●Schema.org:民間の語彙基盤
http://schema.org/
https://imi.go.jp/
「共通語彙基盤」と「文字情報基盤」からなる。 経済産業省が設置しIPAが事務局を担当する「情報共有基盤推進委員会」のもとで実施。
https://opendata.ipa.go.jp/
●米国:NIEM(National Information Exchange Model)
https://www.niem.gov/
●欧州:SEMIC(Semantic interoperability Community)
https://joinup.ec.europa.eu/collection/semantic-interoperability-community-semic
●Schema.org:民間の語彙基盤
http://schema.org/
Thursday, May 17, 2018
気象庁 スパコン
2018年6月5日よりCray XC 50(日立製作所製)
http://www.itmedia.co.jp/news/articles/1805/17/news066.html
それ以前はHitachi SR16000/M1(日立製作所製)
http://www.itmedia.co.jp/news/articles/1805/17/news066.html
それ以前はHitachi SR16000/M1(日立製作所製)
Tuesday, May 8, 2018
データ要求・取得インタフェースAPI
●API設計・運用実践ガイドブック β版(2017年8月、IT総合戦略室)
https://cio.go.jp/sites/default/files/uploads/documents/guidebook%CE%B2-apisekkei_20170801.pdf
2.3 データ提供APIと手続きAPI(利用者を識別しパーソナライズしたサービスを提供することも可能)がある。
3.2 データフォーマットの標準(相互運用性)
3.3 データ項目の定義
3.4 APIの利用規約
4.3 APIのアクセス管理(サーバーの負荷対策)
●APIテクニカルガイドブック β版(2017年8月、IT総合戦略室) https://cio.go.jp/sites/default/files/uploads/documents/guidebook%CE%B2-apitechnical_20170801.pdf
データをインターネット経由で提供するWebAPIを対象。
2.2.1 レスポンスデータの形式:JSONを必須。XML/CSVを推奨。
標準化された専用のデータ形式
・地理空間情報はGeoJSON推奨。KMLは非推奨。
・スケジュール:iCalendar推奨
・連絡先:vCard推奨
文字コードはUTF-8
2.4.1 WebAPIのセキュリティ
・通信の改竄や盗聴防止:SSLサポート(HTTPS通信)による暗号化
・情報漏えい防止:APIキー又はOpenID connectによるAPI利用者認証
・サーバー負荷の管理:API利用者ごとに制限。キャッシュ
・クロスドメインの通信許可:CORS(Cross Origin Resource Sharing)対応
2.3 データ提供APIと手続きAPI(利用者を識別しパーソナライズしたサービスを提供することも可能)がある。
3.2 データフォーマットの標準(相互運用性)
3.3 データ項目の定義
3.4 APIの利用規約
4.3 APIのアクセス管理(サーバーの負荷対策)
●APIテクニカルガイドブック β版(2017年8月、IT総合戦略室) https://cio.go.jp/sites/default/files/uploads/documents/guidebook%CE%B2-apitechnical_20170801.pdf
データをインターネット経由で提供するWebAPIを対象。
2.2.1 レスポンスデータの形式:JSONを必須。XML/CSVを推奨。
標準化された専用のデータ形式
・地理空間情報はGeoJSON推奨。KMLは非推奨。
・スケジュール:iCalendar推奨
・連絡先:vCard推奨
文字コードはUTF-8
2.4.1 WebAPIのセキュリティ
・通信の改竄や盗聴防止:SSLサポート(HTTPS通信)による暗号化
・情報漏えい防止:APIキー又はOpenID connectによるAPI利用者認証
・サーバー負荷の管理:API利用者ごとに制限。キャッシュ
・クロスドメインの通信許可:CORS(Cross Origin Resource Sharing)対応
Monday, May 7, 2018
EverySense
-
EverySense(エブリセンスジャパン(株))
- EverySense(IoTプラットフォーム):ヘルスケアデータ、車から得られるデータ、位置情報、企業が持つ独自データを想定。
EveryPost(スマホアプリ):加速度・角速度・方位・磁力・歩数・位置・モーションアクティビティ・気温・気圧・照度・近接・心拍
EveryStamp(小型汎用環境センサー)
https://every-sense.com/services/everysense/
IoT情報流通マーケットプラットフォーム
http://www.iotac.jp/wp-content/uploads/2016/01/%E8%B3%87%E6%96%99%EF%BC%94-%E3%82%A8%E3%83%96%E3%83%AA%E3%82%BB%E3%83%B3%E3%82%B9%E3%82%B8%E3%83%A3%E3%83%91%E3%83%B3%E8%B3%87%E6%96%99.pdf
IoTデータ取引市場の事例と課題
http://www.iotac.jp/wp-content/uploads/2016/01/%E8%B3%87%E6%96%993-2_%E3%82%A8%E3%83%96%E3%83%AA%E3%82%BB%E3%83%B3%E3%82%B9%E3%82%B8%E3%83%A3%E3%83%91%E3%83%B3%E8%B3%87%E6%96%99.pdf
IoTコンソーシアム>データ流通WG>データ連携SWG資料
http://www.iotac.jp/wp-content/uploads/2017/02/%E8%B3%87%E6%96%991-4_EverySense.pdf
Sunday, May 6, 2018
GDPR(EU一般データ保護規則)
General Data Protection Regulation(EU一般データ保護規則)
「氏名など個人を特定できる個人情報」+「MAC アドレスや IP アドレス、生体認証データ、信仰している宗教など、それ単体では個人を特定できないデータ」
「氏名など個人を特定できる個人情報」+「MAC アドレスや IP アドレス、生体認証データ、信仰している宗教など、それ単体では個人を特定できないデータ」
プラットフォーマー:GAFA
GAFA: Google, Apple, Facebook, Amazon
GAFMA: GAFA + Microsoft
FANG: GAFA - Apple + Netflix
FAAA: Facebook, Alibaba, Amazon, Alphabet
FAANG: GAFA + Netflix
FANNG: FANG + NVIDIA
その他:ヤッフー、楽天
GAFMA: GAFA + Microsoft
FANG: GAFA - Apple + Netflix
FAAA: Facebook, Alibaba, Amazon, Alphabet
FAANG: GAFA + Netflix
FANNG: FANG + NVIDIA
その他:ヤッフー、楽天
自治体データ公開支援サービス
○CKAN・DKAN関係
本ブログ内:http://earthsimulation.blogspot.jp/2018/01/ckan.html
○VLED関係
本ブログ内:http://earthsimulation.blogspot.jp/2018/04/blog-post.html
○オープンデータソリューション(日立)
https://www.hitachi.co.jp/Prod/comp/app/opendata/
データ公開基盤整備支援
・データカタログサイト導入サービス(CKAN採用)
・オープンデータ対応CMS導入サービス
・データフォーマット変換・データ整形サービス(RDF化)
・メタデータ作成・登録サービス
○e-Navigator(NEC)
http://www.enavigator.jp/?p=2669
オープンデータ公開支援
・オープンデータの公開環境(インターネットサイト)は、データ公開ポータルサイト構築の標準的ソフトウェアであるCKANの他、RDF、SPARQL等の技術を活用し、整備・構築します。
・オープンデータは、RDF等の技術を活用したコンピュータが処理しやすいデータ公開形式、LOD形式での公開が求められています。本ソリューションは、現在、ExcelやCSV等で保有されているデータのLoD化についてもご支援致します。
・オープンデータ公開は、柔軟性、拡張性に富むクラウドサービスの活用も有効です。 本ソリューションは、クラウドサービスを活用した公開サイトの構築の他、セキュリティ確保に考慮した運用環境の整備についても対応致します。
本ブログ内:http://earthsimulation.blogspot.jp/2018/01/ckan.html
○VLED関係
本ブログ内:http://earthsimulation.blogspot.jp/2018/04/blog-post.html
○オープンデータソリューション(日立)
https://www.hitachi.co.jp/Prod/comp/app/opendata/
データ公開基盤整備支援
・データカタログサイト導入サービス(CKAN採用)
・オープンデータ対応CMS導入サービス
・データフォーマット変換・データ整形サービス(RDF化)
・メタデータ作成・登録サービス
○e-Navigator(NEC)
http://www.enavigator.jp/?p=2669
オープンデータ公開支援
・オープンデータの公開環境(インターネットサイト)は、データ公開ポータルサイト構築の標準的ソフトウェアであるCKANの他、RDF、SPARQL等の技術を活用し、整備・構築します。
・オープンデータは、RDF等の技術を活用したコンピュータが処理しやすいデータ公開形式、LOD形式での公開が求められています。本ソリューションは、現在、ExcelやCSV等で保有されているデータのLoD化についてもご支援致します。
・オープンデータ公開は、柔軟性、拡張性に富むクラウドサービスの活用も有効です。 本ソリューションは、クラウドサービスを活用した公開サイトの構築の他、セキュリティ確保に考慮した運用環境の整備についても対応致します。
Saturday, May 5, 2018
オーディエンスデータ
オーディエンスデータとは、“ある人”の属性情報と行動ログのこと。
「オーディエンスデータ」の基本と「データセラーDMP」の使い方 https://markezine.jp/article/detail/19657
「オーディエンスデータ」の基本と「データセラーDMP」の使い方 https://markezine.jp/article/detail/19657
Data Jackets(大澤研究室)
Data Jackets Project
http://www.panda.sys.t.u-tokyo.ac.jp/hayashi/djs/djs4ddi/
Data Jackets
https://sites.google.com/site/datajackets/
データジャケットを用いたデータ市場のデザイン
https://www.t.u-tokyo.ac.jp/eng/business/blog/2014/11/2014111701.html
データジャケット入力方法
https://www.slideshare.net/TeruakiHayashi/ss-80885720
ビッグデータの活用手法(IMDJ)の紹介
http://www.mlit.go.jp/pri/kikanshi/pdf/2016/61-5.pdf
http://www.panda.sys.t.u-tokyo.ac.jp/hayashi/djs/djs4ddi/
Data Jackets
https://sites.google.com/site/datajackets/
データジャケットを用いたデータ市場のデザイン
https://www.t.u-tokyo.ac.jp/eng/business/blog/2014/11/2014111701.html
データジャケット入力方法
https://www.slideshare.net/TeruakiHayashi/ss-80885720
ビッグデータの活用手法(IMDJ)の紹介
http://www.mlit.go.jp/pri/kikanshi/pdf/2016/61-5.pdf
「データ取引市場」と「データ市場」は別物
続々登場する「データ市場」 イノベーションを生み出す市場とは
https://www.projectdesign.jp/201704/ai-business-model/003528.php
大澤幸夫(東京大学大学院工学系研究科システム創成学専攻 教授)
データジャケットとゲーム型ワークショップ「Innovators Marketplace on Data Jackets(IMDJ)」を提唱。
本ブログ内:http://earthsimulation.blogspot.jp/2018/05/data-jackets.html
https://www.projectdesign.jp/201704/ai-business-model/003528.php
大澤幸夫(東京大学大学院工学系研究科システム創成学専攻 教授)
データジャケットとゲーム型ワークショップ「Innovators Marketplace on Data Jackets(IMDJ)」を提唱。
本ブログ内:http://earthsimulation.blogspot.jp/2018/05/data-jackets.html
Friday, May 4, 2018
データマーケットプレイス
- ○Qlik (旧Data Market)
https://www.qlik.com/us
○factual
https://www.factual.com/
○infochips
http://www.infochimps.com/
○C-Radar
https://www.c-radar.com/
○INRIX:交通情報サービス
http://inrix.com/
○オーディエンスソリューション(Acxiom Corporation)
http://www.acxiom.jp/
○Windows Azure MarketPlace DataMarket(Microsoft):異業種間
https://azure.microsoft.com/ja-jp/
○EverySense(エブリセンスジャパン(株)):異業種間
本ブログ内:http://earthsimulation.blogspot.jp/2018/05/everysense.html
○Senseek(オムロン):センサデータのリアルタイム流通(シェア型)
本ブログ内:http://earthsimulation.blogspot.jp/2018/05/stdm.html
- 本ブログ内:http://earthsimulation.blogspot.jp/2018/05/blog-post_25.html
- マッチング型
シェア型(中央管理型)
シェア型(分散管理型)
バリューチェーン型
○G空間情報センター
https://www.geospatial.jp/gp_front/
○さくらIoTプラットフォーム(さくらインターネット(株))
本ブログ内:http://earthsimulation.blogspot.com/2018/06/blog-post.html
○Kirei-Safety(大日本印刷(株)):VRMサービス
https://www.cybridge.jp/news/information/00293/
○インテージ 本ブログ内:http://earthsimulation.blogspot.jp/2018/05/blog-post_4.html ○(株)DTA
データ流通プラットフォーム間の連携を実現するための基本的事項(2017年4月。IoT 推進コンソーシアム、総務省、経済産業省)
http://www.meti.go.jp/press/2017/04/20170428002/20170428002-1.pdf
平成 28 年度我が国におけるデータ駆動型社会に係る基盤整備(データ流通プラットフォームに関する調査事業)事業報告書(2017年3月)
http://www.meti.go.jp/meti_lib/report/H28FY/000467.pdf
新たなデータ流通取引に関する検討事例集Ver.1(2017年3月、IoT 推進コンソーシアム、総務省、経済産業省)
http://www.soumu.go.jp/main_content/000471623.pdf
データ取引市場等SWG取りまとめ 概要(総務省)
http://www.soumu.go.jp/main_content/000501156.pdf
構造改革徹底推進会合 「第4次産業革命」会合(第1回)データ利活用ビジネスの本格展開(2017年11月8日、内閣官房 日本経済再生総合事務局、内閣官房 情報通信技術総合戦略室、個人情報保護委員会 総務省 経済産業省)
https://www.kantei.go.jp/jp/singi/keizaisaisei/miraitoshikaigi/suishinkaigo2018/revolution/dai1/siryou4.pdf
Subscribe to:
Posts (Atom)