Wednesday, February 28, 2018

JSON

JSON (JavaScript Object Notation)
JavaScriptのオブジェクト表記構文のサブセットとなっており、XMLと比べると簡潔に構造化されたデータを記述することができる。JavaScriptだけでなく、Java, PHP, Ruby, Python など、様々な言語間のデータ交換、特に Ajax や REST API などで使用されている。

JSONの紹介
https://www.json.org/json-ja.html

ウィキペディア

【初心者必見!】PythonでJSONを扱う方法をわかりやすく解説!
https://www.sejuku.net/blog/41293
【JavaScript入門】JSONの作成とparse() / stringify()の使い方! 2018
https://www.sejuku.net/blog/47716

JSON入門:データ交換のもう一つのアプローチ 2008
https://builder.japan.zdnet.com/script/20365028/
https://builder.japan.zdnet.com/script/20365028/2/
https://builder.japan.zdnet.com/script/20365028/3/

戯れ言++>入門 JSON 2006
http://www.baldanders.info/spiegel/remark/archives/000171.shtml

GeoJSON
JavaScript Object Notation (JSON) を用いて空間データをエンコードし非空間属性を関連付けるファイルフォーマット
ウィキペディア

TopoJSON
https://qiita.com/cieloazul310/items/6dfd73952304ab61cd20
https://qiita.com/cieloazul310/items/9d0e3f67f60d791726dc
https://qiita.com/sand/items/e8c82f1d61ca4e7bdfb7
http://blog.qaramell.com/hunzy/8661
http://visualizing.jp/d3-topojson/
http://blog.node.ws/?p=1206
http://deep-blend.com/jp/2014/06/d3-js-map-japanese-map/
https://shimz.me/blog/d3-js/4131
GeoJSONファイルを拡張した地理情報データの規格。基本的にはD3.jsのみで使われている。
shpファイルやGeoJSONファイルはTopoJSONに変換できる。

Tuesday, February 20, 2018

分類法

コロン分類法:ファセット分類法のひとつ
Wikipedia:https://ja.wikipedia.org/wiki/%E3%82%B3%E3%83%AD%E3%83%B3%E5%88%86%E9%A1%9E%E6%B3%95
ファセット
, パーソナリティー(personality) Who
; マター(matter or property)  What
: エネルギー(energy)      How
. 空間(space)         Where
' 時間(time)          When
創始者の講演

図書館分類法

学術分野

Tuesday, February 13, 2018

匿名加工情報

個人情報保護法ガイドライン(匿名加工情報編)
https://www.ppc.go.jp/files/pdf/guidelines04.pdf

「匿名データの作成・提供に係るガイドライン」(平成28年1月22日更新、総務省政策統括官(統計基準担当)決定)
http://www.soumu.go.jp/main_content/000398971.pdf

「匿名加工情報の加工基準について」(平成29年1月31日 個人情報保護委員会事務局)
http://www.soumu.go.jp/main_content/000462276.pdf

「事業者が匿名加工情報の具体的な作成方法を検討するにあたっての参考資料(「匿名加工情報作成マニュアル」)」(平成28年8月8日、経済産業省) http://www.meti.go.jp/press/2016/08/20160808002/20160808002.html

Monday, February 12, 2018

非静力学モデル

○NICAM
本ブログ内https://earthsimulation.blogspot.com/2017/10/nicam.html

○JMA-NHM

○CReSS

WRF(研究用MM5, RAMS, ARPSはWRFへの移行・統合が進んでいる?)
本ブログ内http://earthsimulation.blogspot.jp/search/label/WRF

○MSSG
本ブログ内http://earthsimulation.blogspot.jp/search/label/MSSG

○asuca
http://www.jma.go.jp/jma/kishou/books/nwpreport/60/No60_all.pdf(2014.3)

○NCEP MSM
NCEP RSMに最小限の変更を加えて非静力学化したもの

○MM5:PSU/NCAR Mesoscale Model Ver.5(WRFの一世代前?)
http://www.mmm.ucar.edu/mm5/

○MRI/NPD-NHM
公式サイト:http://www.mri-jma.go.jp/Project/mrinpd/INDEXJ.htm
・メソスケール気象モデルにより再現された台風0418号の強風場(京大防災研、丸山敬ほか、5km, 1km、2008年)
https://www.jstage.jst.go.jp/article/kazekosymp/20/0/20_0_7/_pdf/-char/ja

次世代非静力学モデルによる高解像度台風予測実験(DFS、MSSG、NICAM、GSMを比較)
http://w3.u-ryukyu.ac.jp/met_rq/notice/201512_NHM-WS/abstract/1201PM08_Wada1.pdf
https://www.jamstec.go.jp/es/jp/output/research/fy2015/A06_Takeuchi.pdf

Monday, February 5, 2018

Apache Zeppelin

公式サイト

Sparkを実行できるWebユーザインタフェースのひとつで、Webベースの分析向けノートブック。
インタプリター:Scala, Python, Spark SQL, JDBC, Markdown, Shellなど.
https://zeppelin.apache.org/supported_interpreters.html

Apache SparkのWebUI、いろいろ比較してみた

Apache Zeppelinと Sparkでデータの集計と可視化をお手軽に実現する
”Spark/Hadoop といった分散処理システムに対してコードを実行し,実行結果をグラフとして描画することができます。インタプリタが豊富で,シェル/SQL/scala/python … と分析で必要とされるインタフェースが揃っており,自分でインタプリタを作成することも可能です。
記録されたコードと実行結果を共有できるため,複数人による共同作業に活用しやすいと言えるでしょう。”



Apache Spark

公式サイト

ウィキペディア
カリフォルニア大学バークレー校のAMPLabで開発され、Apacheソフトウェア財団で管理されている。クラスタコンピューティングに対応した開発環境。
アプリケーションプログラミングインターフェイス(Java、Python、Scala、R)を介して公開される分散タスクディスパッチ、スケジューリング、および基本I/O機能を実装している。

ビッグデータ処理「Spark」、深層学習対応進む

Apache Spark で分散処理入門