Showing posts with label データ統合. Show all posts
Showing posts with label データ統合. Show all posts

Thursday, October 25, 2018

JASMIN

NERCが設立した環境データのmulti-petabyte data analysis facility
CEDA data center(NERCの執行機関)に置かれている。
http://www.jasmin.ac.uk/

JASMIN and the adoption of cloud-native architecture for managing data and compute at scale (2017)
https://www.ecmwf.int/sites/default/files/elibrary/2017/17148-jasmin-and-adoption-cloud-native-architecture-managing-data-and-compute-scale.pdf

JASMIN and the role of Cloud Computing in realising a Big Data facility for the Environmental Sciences (2017)
https://presentations.copernicus.org/EMS2017-332_presentation.pdf

The JASMIN Cloud (2014)
https://presentations.copernicus.org/EGU2014-10820_presentation.pdf

Storing and manipulating environmental big datawith JASMIN (2013, ResearchGate)
https://www.researchgate.net/publication/260979040_Storing_and_manipulating_environmental_big_data_with_JASMIN

Copernicus
Centre for Environmental Data Archival (CEDA)
http://www.ceda.ac.uk/
CLIPC (Climate Information Platform for Copernicus)
http://www.ceda.ac.uk/projects/clipc/
http://www.clipc.eu/



Sunday, May 6, 2018

自治体データ公開支援サービス

○CKAN・DKAN関係
本ブログ内:http://earthsimulation.blogspot.jp/2018/01/ckan.html

○VLED関係
本ブログ内:http://earthsimulation.blogspot.jp/2018/04/blog-post.html

○オープンデータソリューション(日立)
https://www.hitachi.co.jp/Prod/comp/app/opendata/
データ公開基盤整備支援
・データカタログサイト導入サービス(CKAN採用)
・オープンデータ対応CMS導入サービス
・データフォーマット変換・データ整形サービス(RDF化)
・メタデータ作成・登録サービス

○e-Navigator(NEC)
http://www.enavigator.jp/?p=2669
オープンデータ公開支援
・オープンデータの公開環境(インターネットサイト)は、データ公開ポータルサイト構築の標準的ソフトウェアであるCKANの他、RDF、SPARQL等の技術を活用し、整備・構築します。
・オープンデータは、RDF等の技術を活用したコンピュータが処理しやすいデータ公開形式、LOD形式での公開が求められています。本ソリューションは、現在、ExcelやCSV等で保有されているデータのLoD化についてもご支援致します。
・オープンデータ公開は、柔軟性、拡張性に富むクラウドサービスの活用も有効です。 本ソリューションは、クラウドサービスを活用した公開サイトの構築の他、セキュリティ確保に考慮した運用環境の整備についても対応致します。


Friday, May 4, 2018

オープンデータ社会(『ビジネス2.0』の視点) 林雅之

(1)~(106)
http://blogs.itmedia.co.jp/business20/2013/11/post-b99f.html (106)
このページの後に(1)~(105)へのリンクがある。

データマーケットプレイス関係
http://blogs.itmedia.co.jp/business20/2013/02/post-fa32.html(15:プレイヤー相関と発展段階)
4.Open Data Broker:Open Data ConsumerとOpen Data Provider間のサービス提供や契約締結の仲介者、データマーケットプレイスの提供者 (Aggregators)
5.Open Data Integrator:オープンデータを活用したサービス環境(データポータル)構築のための導入支援を行う事業者 
6.Service Provider (Using Open Data):オープンデータを二次(商用)利用したConsumer向けのサービス提供者 (Developers + Enrichers)
7.Open Data Service Enabler(Components):オープンデータを活用したサービスプラットフォーム環境を構築するための必要なIT製品、ソフトウェア、サービスの提供者 
8.Open Data Auditor:オープンデータの二次利用などの適正なライセンス提供、著作権、個別法などのアセスメント(評価)を行う第三者機関となる組織
http://blogs.itmedia.co.jp/business20/2013/03/post-6fe8.html(20:英国のモデル)
http://blogs.itmedia.co.jp/business20/2013/03/post-7fdb.html(22:ビジネスモデル)
http://blogs.itmedia.co.jp/business20/2013/05/post-12af.html(49:実例)
http://blogs.itmedia.co.jp/business20/2013/08/post-0737.html(93:エコシステムと9つのプレイヤー)
http://blogs.itmedia.co.jp/business20/2013/08/post-efd2.html(94:発展段階)
http://blogs.itmedia.co.jp/business20/2013/08/post-a739.html(95:実例)

Wednesday, May 2, 2018

RESAS 地域経済分析システム

https://resas.go.jp/#/13/13101

地方創生の様々な取り組みを情報面から支援するために、経済産業省と内閣官房(まち・ひと・しごと創生本部事務局)が提供
自治体職員の方や、地域の活性化に関心を持つ様々な分野の方向け

収録データ
http://www.kantei.go.jp/jp/singi/sousei/resas/pdf/h30-03-27-data.pdf

Tuesday, February 20, 2018

分類法

コロン分類法:ファセット分類法のひとつ
Wikipedia:https://ja.wikipedia.org/wiki/%E3%82%B3%E3%83%AD%E3%83%B3%E5%88%86%E9%A1%9E%E6%B3%95
ファセット
, パーソナリティー(personality) Who
; マター(matter or property)  What
: エネルギー(energy)      How
. 空間(space)         Where
' 時間(time)          When
創始者の講演

図書館分類法

学術分野

Tuesday, January 30, 2018

Kaggle

データ解析のSkillを競うCompetitionサイト。賞金が付くいものもある。
Wikipedia


参考
https://qiita.com/taki_tflare/items/8850ac5ba8b504a171aa

CKANとDKAN

CKANは、オープンデータのWebサイトを作るためのオープンソースソフトウェア。
データカタログの機能も提供する。

CKANについて – data.go.jp
https://fumi.me/2013/12/22/ckan/

DATA.GO.JP:総務省行政管理局が運用するオープンデータに係るデータカタログサイト(CKANを使ってる? 未確認)
http://www.data.go.jp/

CKANを使った自治体オープンデータサイト(福岡県)
https://www.open-governmentdata.org/

CKANのユーザーズマニュアル
https://opendatastack.jp/document/ckan_user_manual/
CKANを使ったサービスのひとつとして、(株)スタイルズのOpenData Stackという自治体向けオープンデータの作成・公開支援サービス がある。


DKAN Open Data Platform
https://getdkan.org/
CKANをCMS化したもの?

DKAN オープンデータ公開支援ソリューションとは?(ANNAI((株))
https://landing.dkan.annai.co.jp/

  • ・CSVデータの内容やPDFファイルの内容まで全文検索
  • ・プレビュー:表形式(csv、excel)、地図形式(緯度経度情報を含むcsv、kml、shp)、グラフ形式(横・縦軸となるデータを含むcsv)、画像(jpg、jpeg、gif、png)、ドキュメント(pdf)、HTML・JSON
  • ・データセットやデータリソースに関する情報をまとめたCSVをシステムで読み込むことで、一括で登録
  • ・CSVデータの内容をXML・JSON・JSONP形式のAPIで取得
  • ・APIでデータを公開する際に、CSVデータのヘッダ項目を経済産業省が策定している共通語彙基盤(英語)に変換して公開する機能
  • ・利用しやすい形式(LOD形式)によるデータ公開を自動的に行う


Comparing DKAN and CKAN
http://dkan.readthedocs.io/en/latest/introduction/dkan-ckan.html


Tomcat:JavaでWebアプリケーションを作成する時の主流ソフトウェア。CKANもDKANもTomcatを使っている。

Friday, January 12, 2018

OSGeo-Live

https://live.osgeo.org/ja/index.html

幅広く多様なオープンソースの地理空間ソフトウェアを、インストールなどの必要無しに試すことができるブート可能なDVD/USBメディア。

Tuesday, December 12, 2017

京大生存圏研究所 グローバル大気観測データ

http://database.rish.kyoto-u.ac.jp/arch/glob-atmos/
JRA-55、ERA-40、NCEP再解析データ、気象庁データ(GPVほか。GRIB形式)などをnetCDF形式に変換して提供している。
2015年5月7日よりOPeNDAPサーバによる配布を停止中。

Tuesday, November 28, 2017

DIAS

すべてのデータセット
http://search.diasjp.net/search?lang=ja&ex=true&ex=jdc&ex=jalter&ex=nipr&ex=ads


1-434: DIAS
435-483: JAMSTEC Data Catalog
484-631: JaLTER
632-876:  NiPR
877-1027: ADS

Tuesday, April 4, 2017

DataONE

https://www.dataone.org/


The foundation of new innovative environmental science through a distributed framework and sustainable cyberinfrastructure that meets the needs of science and society for open, persistent, robust, and secure access to well-described and easily discovered Earth observational data.


Supported by NSF as one of the initial DataNets, DataONE will ensure the preservation, access, use and reuse of multi-scale, multi-discipline, and multi-national science data via three primary cyberinfrastucture elements and a broad education and outreach program