NERCが設立した環境データのmulti-petabyte data analysis facility
CEDA data center(NERCの執行機関)に置かれている。
http://www.jasmin.ac.uk/
JASMIN and the adoption of cloud-native architecture for managing data and compute at scale (2017)
https://www.ecmwf.int/sites/default/files/elibrary/2017/17148-jasmin-and-adoption-cloud-native-architecture-managing-data-and-compute-scale.pdf
JASMIN and the role of Cloud Computing in realising a Big Data facility for the Environmental Sciences (2017)
https://presentations.copernicus.org/EMS2017-332_presentation.pdf
The JASMIN Cloud (2014)
https://presentations.copernicus.org/EGU2014-10820_presentation.pdf
Storing and manipulating environmental big datawith JASMIN (2013, ResearchGate)
https://www.researchgate.net/publication/260979040_Storing_and_manipulating_environmental_big_data_with_JASMIN
Copernicus
Centre for Environmental Data Archival (CEDA)
http://www.ceda.ac.uk/
CLIPC (Climate Information Platform for Copernicus)
http://www.ceda.ac.uk/projects/clipc/
http://www.clipc.eu/
Showing posts with label データ統合. Show all posts
Showing posts with label データ統合. Show all posts
Thursday, October 25, 2018
Sunday, May 6, 2018
自治体データ公開支援サービス
○CKAN・DKAN関係
本ブログ内:http://earthsimulation.blogspot.jp/2018/01/ckan.html
○VLED関係
本ブログ内:http://earthsimulation.blogspot.jp/2018/04/blog-post.html
○オープンデータソリューション(日立)
https://www.hitachi.co.jp/Prod/comp/app/opendata/
データ公開基盤整備支援
・データカタログサイト導入サービス(CKAN採用)
・オープンデータ対応CMS導入サービス
・データフォーマット変換・データ整形サービス(RDF化)
・メタデータ作成・登録サービス
○e-Navigator(NEC)
http://www.enavigator.jp/?p=2669
オープンデータ公開支援
・オープンデータの公開環境(インターネットサイト)は、データ公開ポータルサイト構築の標準的ソフトウェアであるCKANの他、RDF、SPARQL等の技術を活用し、整備・構築します。
・オープンデータは、RDF等の技術を活用したコンピュータが処理しやすいデータ公開形式、LOD形式での公開が求められています。本ソリューションは、現在、ExcelやCSV等で保有されているデータのLoD化についてもご支援致します。
・オープンデータ公開は、柔軟性、拡張性に富むクラウドサービスの活用も有効です。 本ソリューションは、クラウドサービスを活用した公開サイトの構築の他、セキュリティ確保に考慮した運用環境の整備についても対応致します。
本ブログ内:http://earthsimulation.blogspot.jp/2018/01/ckan.html
○VLED関係
本ブログ内:http://earthsimulation.blogspot.jp/2018/04/blog-post.html
○オープンデータソリューション(日立)
https://www.hitachi.co.jp/Prod/comp/app/opendata/
データ公開基盤整備支援
・データカタログサイト導入サービス(CKAN採用)
・オープンデータ対応CMS導入サービス
・データフォーマット変換・データ整形サービス(RDF化)
・メタデータ作成・登録サービス
○e-Navigator(NEC)
http://www.enavigator.jp/?p=2669
オープンデータ公開支援
・オープンデータの公開環境(インターネットサイト)は、データ公開ポータルサイト構築の標準的ソフトウェアであるCKANの他、RDF、SPARQL等の技術を活用し、整備・構築します。
・オープンデータは、RDF等の技術を活用したコンピュータが処理しやすいデータ公開形式、LOD形式での公開が求められています。本ソリューションは、現在、ExcelやCSV等で保有されているデータのLoD化についてもご支援致します。
・オープンデータ公開は、柔軟性、拡張性に富むクラウドサービスの活用も有効です。 本ソリューションは、クラウドサービスを活用した公開サイトの構築の他、セキュリティ確保に考慮した運用環境の整備についても対応致します。
Saturday, May 5, 2018
Data Jackets(大澤研究室)
Data Jackets Project
http://www.panda.sys.t.u-tokyo.ac.jp/hayashi/djs/djs4ddi/
Data Jackets
https://sites.google.com/site/datajackets/
データジャケットを用いたデータ市場のデザイン
https://www.t.u-tokyo.ac.jp/eng/business/blog/2014/11/2014111701.html
データジャケット入力方法
https://www.slideshare.net/TeruakiHayashi/ss-80885720
ビッグデータの活用手法(IMDJ)の紹介
http://www.mlit.go.jp/pri/kikanshi/pdf/2016/61-5.pdf
http://www.panda.sys.t.u-tokyo.ac.jp/hayashi/djs/djs4ddi/
Data Jackets
https://sites.google.com/site/datajackets/
データジャケットを用いたデータ市場のデザイン
https://www.t.u-tokyo.ac.jp/eng/business/blog/2014/11/2014111701.html
データジャケット入力方法
https://www.slideshare.net/TeruakiHayashi/ss-80885720
ビッグデータの活用手法(IMDJ)の紹介
http://www.mlit.go.jp/pri/kikanshi/pdf/2016/61-5.pdf
Friday, May 4, 2018
オープンデータ社会(『ビジネス2.0』の視点) 林雅之
-
(1)~(106)
- 4.Open Data Broker:Open Data ConsumerとOpen Data Provider間のサービス提供や契約締結の仲介者、データマーケットプレイスの提供者 (Aggregators)
5.Open Data Integrator:オープンデータを活用したサービス環境(データポータル)構築のための導入支援を行う事業者 - 6.Service Provider (Using Open Data):オープンデータを二次(商用)利用したConsumer向けのサービス提供者 (Developers + Enrichers)
7.Open Data Service Enabler(Components):オープンデータを活用したサービスプラットフォーム環境を構築するための必要なIT製品、ソフトウェア、サービスの提供者 - 8.Open Data Auditor:オープンデータの二次利用などの適正なライセンス提供、著作権、個別法などのアセスメント(評価)を行う第三者機関となる組織 http://blogs.itmedia.co.jp/business20/2013/03/post-6fe8.html(20:英国のモデル)
http://blogs.itmedia.co.jp/business20/2013/11/post-b99f.html (106)
このページの後に(1)~(105)へのリンクがある。
データマーケットプレイス関係
http://blogs.itmedia.co.jp/business20/2013/02/post-fa32.html(15:プレイヤー相関と発展段階)
http://blogs.itmedia.co.jp/business20/2013/03/post-7fdb.html(22:ビジネスモデル)
http://blogs.itmedia.co.jp/business20/2013/05/post-12af.html(49:実例)
http://blogs.itmedia.co.jp/business20/2013/08/post-0737.html(93:エコシステムと9つのプレイヤー)
http://blogs.itmedia.co.jp/business20/2013/08/post-efd2.html(94:発展段階)
http://blogs.itmedia.co.jp/business20/2013/08/post-a739.html(95:実例)
Wednesday, May 2, 2018
RESAS 地域経済分析システム
https://resas.go.jp/#/13/13101
地方創生の様々な取り組みを情報面から支援するために、経済産業省と内閣官房(まち・ひと・しごと創生本部事務局)が提供
自治体職員の方や、地域の活性化に関心を持つ様々な分野の方向け
収録データ
http://www.kantei.go.jp/jp/singi/sousei/resas/pdf/h30-03-27-data.pdf
地方創生の様々な取り組みを情報面から支援するために、経済産業省と内閣官房(まち・ひと・しごと創生本部事務局)が提供
自治体職員の方や、地域の活性化に関心を持つ様々な分野の方向け
収録データ
http://www.kantei.go.jp/jp/singi/sousei/resas/pdf/h30-03-27-data.pdf
Thursday, March 1, 2018
Tuesday, February 20, 2018
分類法
コロン分類法:ファセット分類法のひとつ
Wikipedia:https://ja.wikipedia.org/wiki/%E3%82%B3%E3%83%AD%E3%83%B3%E5%88%86%E9%A1%9E%E6%B3%95
ファセット
, パーソナリティー(personality) Who
; マター(matter or property) What
: エネルギー(energy) How
. 空間(space) Where
' 時間(time) When
創始者の講演
Wikipedia:https://ja.wikipedia.org/wiki/%E3%82%B3%E3%83%AD%E3%83%B3%E5%88%86%E9%A1%9E%E6%B3%95
ファセット
図書館分類法
学術分野
Tuesday, January 30, 2018
Kaggle
データ解析のSkillを競うCompetitionサイト。賞金が付くいものもある。
Wikipedia
参考
https://qiita.com/taki_tflare/items/8850ac5ba8b504a171aa
Wikipedia
参考
https://qiita.com/taki_tflare/items/8850ac5ba8b504a171aa
CKANとDKAN
CKANは、オープンデータのWebサイトを作るためのオープンソースソフトウェア。
データカタログの機能も提供する。
CKANについて – data.go.jp
https://fumi.me/2013/12/22/ckan/
DATA.GO.JP:総務省行政管理局が運用するオープンデータに係るデータカタログサイト(CKANを使ってる? 未確認)
http://www.data.go.jp/
CKANを使った自治体オープンデータサイト(福岡県)
https://www.open-governmentdata.org/
CKANのユーザーズマニュアル
https://opendatastack.jp/document/ckan_user_manual/
CKANを使ったサービスのひとつとして、(株)スタイルズのOpenData Stackという自治体向けオープンデータの作成・公開支援サービス がある。
DKAN Open Data Platform
https://getdkan.org/
CKANをCMS化したもの?
DKAN オープンデータ公開支援ソリューションとは?(ANNAI((株))
https://landing.dkan.annai.co.jp/
Comparing DKAN and CKAN
http://dkan.readthedocs.io/en/latest/introduction/dkan-ckan.html
Tomcat:JavaでWebアプリケーションを作成する時の主流ソフトウェア。CKANもDKANもTomcatを使っている。
データカタログの機能も提供する。
CKANについて – data.go.jp
https://fumi.me/2013/12/22/ckan/
DATA.GO.JP:総務省行政管理局が運用するオープンデータに係るデータカタログサイト(CKANを使ってる? 未確認)
http://www.data.go.jp/
CKANを使った自治体オープンデータサイト(福岡県)
https://www.open-governmentdata.org/
CKANのユーザーズマニュアル
https://opendatastack.jp/document/ckan_user_manual/
CKANを使ったサービスのひとつとして、(株)スタイルズのOpenData Stackという自治体向けオープンデータの作成・公開支援サービス がある。
DKAN Open Data Platform
https://getdkan.org/
CKANをCMS化したもの?
DKAN オープンデータ公開支援ソリューションとは?(ANNAI((株))
https://landing.dkan.annai.co.jp/
- ・CSVデータの内容やPDFファイルの内容まで全文検索
- ・プレビュー:表形式(csv、excel)、地図形式(緯度経度情報を含むcsv、kml、shp)、グラフ形式(横・縦軸となるデータを含むcsv)、画像(jpg、jpeg、gif、png)、ドキュメント(pdf)、HTML・JSON
- ・データセットやデータリソースに関する情報をまとめたCSVをシステムで読み込むことで、一括で登録
- ・CSVデータの内容をXML・JSON・JSONP形式のAPIで取得
- ・APIでデータを公開する際に、CSVデータのヘッダ項目を経済産業省が策定している共通語彙基盤(英語)に変換して公開する機能
- ・利用しやすい形式(LOD形式)によるデータ公開を自動的に行う
Comparing DKAN and CKAN
http://dkan.readthedocs.io/en/latest/introduction/dkan-ckan.html
Tomcat:JavaでWebアプリケーションを作成する時の主流ソフトウェア。CKANもDKANもTomcatを使っている。
Thursday, January 18, 2018
Friday, January 12, 2018
OSGeo-Live
https://live.osgeo.org/ja/index.html
幅広く多様なオープンソースの地理空間ソフトウェアを、インストールなどの必要無しに試すことができるブート可能なDVD/USBメディア。
幅広く多様なオープンソースの地理空間ソフトウェアを、インストールなどの必要無しに試すことができるブート可能なDVD/USBメディア。
Tuesday, December 12, 2017
京大生存圏研究所 グローバル大気観測データ
http://database.rish.kyoto-u.ac.jp/arch/glob-atmos/
JRA-55、ERA-40、NCEP再解析データ、気象庁データ(GPVほか。GRIB形式)などをnetCDF形式に変換して提供している。
2015年5月7日よりOPeNDAPサーバによる配布を停止中。
JRA-55、ERA-40、NCEP再解析データ、気象庁データ(GPVほか。GRIB形式)などをnetCDF形式に変換して提供している。
2015年5月7日よりOPeNDAPサーバによる配布を停止中。
Tuesday, November 28, 2017
DIAS
すべてのデータセット
http://search.diasjp.net/search?lang=ja&ex=true&ex=jdc&ex=jalter&ex=nipr&ex=ads
1-434: DIAS
435-483: JAMSTEC Data Catalog
484-631: JaLTER
632-876: NiPR
877-1027: ADS
http://search.diasjp.net/search?lang=ja&ex=true&ex=jdc&ex=jalter&ex=nipr&ex=ads
1-434: DIAS
435-483: JAMSTEC Data Catalog
484-631: JaLTER
632-876: NiPR
877-1027: ADS
Tuesday, April 4, 2017
DataONE
https://www.dataone.org/
The foundation of new innovative environmental science through a distributed framework and sustainable cyberinfrastructure that meets the needs of science and society for open, persistent, robust, and secure access to well-described and easily discovered Earth observational data.
Supported by NSF as one of the initial DataNets, DataONE will ensure the preservation, access, use and reuse of multi-scale, multi-discipline, and multi-national science data via three primary cyberinfrastucture elements and a broad education and outreach program
The foundation of new innovative environmental science through a distributed framework and sustainable cyberinfrastructure that meets the needs of science and society for open, persistent, robust, and secure access to well-described and easily discovered Earth observational data.
Supported by NSF as one of the initial DataNets, DataONE will ensure the preservation, access, use and reuse of multi-scale, multi-discipline, and multi-national science data via three primary cyberinfrastucture elements and a broad education and outreach program
Subscribe to:
Posts (Atom)