●LOD
本ブログ内:https://earthsimulation.blogspot.com/2018/10/lodsparql.html
●GeoJSON
本ブログ内:https://earthsimulation.blogspot.com/2018/02/json.html
●OpenStreatMap
公式サイト:https://openstreetmap.jp/
ウィキペディア
世界がOpenStreetMapを必要とする理由
https://qiita.com/nyampire/items/073c850f083cf9fb8d35
●OpenLayer
公式サイト:https://openlayers.org/
ウィキペディア
OpenLayers((株)エヌ・シー・エス)
http://www.ncm-git.co.jp/pr/brain/experience/openlayers.html
●PostGIS
公式サイト:https://postgis.net/
ウィキペディア
PostGISを使ってみよう(農研機構)
https://lets.postgresql.jp/documents/tutorial/PostGIS
Tuesday, December 25, 2018
Thursday, December 13, 2018
HTTP/2と並列転送/ストリームの多重化
大容量ファイルのダウンロードが帯域を食いつぶし、他の通信を妨害してしまうことをコントロールする。
・HTTP/2の特徴
https://blog.redbox.ne.jp/http2-cdn.html
・HTTP/2 とは?
https://dc.cybertrust.co.jp/ssl/http2.html
・HTTP/2 の概要
https://developers.google.com/web/fundamentals/performance/http2/?hl=ja
・HTTP/2とは(SKY NOTE、2015)
http://skymouse.hatenablog.com/entry/20150221/1424486687
・普及が進む「HTTP/2」の仕組みとメリットとは 2017
https://knowledge.sakura.ad.jp/7734/
https://knowledge.sakura.ad.jp/7735/
・そろそろ知っておきたいHTTP/2の話 2018
https://qiita.com/uutarou10/items/7698ee3336c70a482843
- クライアント側のブラウザのほとんどがHTTP/2に対応済み。
- サーバ側がHTTP/2に対応しているかどうかは、”HTTP/2 and SPDY indicator”というプラグインをクライアント側のブラウザに導入し、サーバのサイトにアクセスすれば右上に青色表示される。未対応なら色なし。
- サーバーとブラウザの間の通信を、HTTPS による SSL/TLS 通信にする必要がある(ブラウザ側の事情による)。
・HTTP/2の特徴
https://blog.redbox.ne.jp/http2-cdn.html
・HTTP/2 とは?
https://dc.cybertrust.co.jp/ssl/http2.html
・HTTP/2 の概要
https://developers.google.com/web/fundamentals/performance/http2/?hl=ja
・HTTP/2とは(SKY NOTE、2015)
http://skymouse.hatenablog.com/entry/20150221/1424486687
・普及が進む「HTTP/2」の仕組みとメリットとは 2017
https://knowledge.sakura.ad.jp/7734/
https://knowledge.sakura.ad.jp/7735/
・そろそろ知っておきたいHTTP/2の話 2018
https://qiita.com/uutarou10/items/7698ee3336c70a482843
Monday, December 10, 2018
インジェクション攻撃
ウィキペディア
インジェクション攻撃は3種類ある 2018
https://blog.ohgaki.net/there-are-3-types-of-injection-attack-vulnerability
コードのインジェクション
データのインジェクション
リクエストのインジェクション
インジェクション攻撃(通信用語の基礎知識)2008
- 適切に利用すれば任意の文字入力に対してセキュアであるようなAPIを用いる。
- 型システムにより言語間の分離を強制する。
- 既知の適切な値のみをホワイトリスト化するなどの入力バリデーションを行う。
- 危険な文字をエスケープするなど、入力のエンコーディングを行う。
- 出力をエンコーディングし、ウェブサイトの訪問者へのクロスサイトスクリプティング(XSS)攻撃を防ぐ。
- HttpOnlyフラグを立てるとクライアントサイドのスクリプトはHTTP cookieの情報にアクセスできなくなり、ある種のXSS攻撃を防ぐことができる。
- シェルのモジュールをカーネルから分離する。
- SQLインジェクションについては、パラメータ化クエリ、ストアドプロシージャ、ホワイトリスト入力バリデーションなどにより、コードインジェクションの問題を緩和することができる。
- ランタイムイメージのハッシュ検査 - メモリに読み込まれた実行可能イメージの全部または一部のハッシュを生成し、予め記憶済みの期待されるハッシュ値と比較する。
- NXビット - 全てのユーザデータを実行ができないようにした特別な記憶領域に保存する。
- カナリア - スタックにランダムに値を配置する。実行時、関数が値を返す際にカナリアの値が確認される。
- (C言語における) Code Pointer Masking (CPM) - (変更が加えられる可能性のある)コードへのポインタをレジスタに読み込んだ後に、ポインタにマスクをすることで、ポインタが指し示すアドレスを効果的に隠すことが出来る。
インジェクション攻撃は3種類ある 2018
https://blog.ohgaki.net/there-are-3-types-of-injection-attack-vulnerability
コードのインジェクション
- SQLインジェクション
- JavaScriptインジェクション
- OSコマンドインジェクション
データのインジェクション
リクエストのインジェクション
インジェクション攻撃(通信用語の基礎知識)2008
Monday, December 3, 2018
JavaScript
ウィキペディア
Javaとは全く別物。スクリプト言語。ウェブブラウザ上で動作する。サーバーサイド実行環境や各種ライブラリも充実している。
主要ウェブブラウザの大半でサポートされている唯一の言語。
JavaScriptとは何なのか!初心者向けに徹底解説
https://techacademy.jp/magazine/8801
独学で身につく!入門向けのJavaScript学習サイト20選
https://techacademy.jp/magazine/10372
https://developer.mozilla.org/ja/docs/Learn/JavaScript/First_steps/What_is_JavaScript
・HTML:マークアップ言語
・CSS:スタイリング規則の言語
・JavaScript:スクリプト言語
Javaとは全く別物。スクリプト言語。ウェブブラウザ上で動作する。サーバーサイド実行環境や各種ライブラリも充実している。
主要ウェブブラウザの大半でサポートされている唯一の言語。
JavaScriptとは何なのか!初心者向けに徹底解説
https://techacademy.jp/magazine/8801
独学で身につく!入門向けのJavaScript学習サイト20選
https://techacademy.jp/magazine/10372
https://developer.mozilla.org/ja/docs/Learn/JavaScript/First_steps/What_is_JavaScript
・HTML:マークアップ言語
・CSS:スタイリング規則の言語
・JavaScript:スクリプト言語
Tuesday, November 20, 2018
d4PDF
公式サイト
http://www.miroc-gcm.jp/~pub/d4PDF/index.html
ダウンロード(DIAS共通アカウントでログイン)
http://search.diasjp.net/ja/dataset/d4PDF_GCM
http://search.diasjp.net/ja/dataset/d4PDF_RCM
SEAL(SI-CAT気候実験データベースシステム)
http://www.jamstec.go.jp/j/about/press_release/20200227/
・GCM(60kmメッシュ、MRI-AGCM3.2)とRCM(20kmメッシュ、NHRCM)がある。
・過去実験(1951年~2011年8月 ×100メンバ)、非温暖化実験(産業革命前の条件、1951年~2010年×100メンバ)、将来2度昇温実験(2031年~2091年8月×54メンバ)、将来4度昇温実験(2051年~2111年8月×90メンバ)がある。
・昇温実験ではCCSM4(NCAR)、GFDL-CM3(プリンストン大/NOAA)、HadGEM2-AO(Hadley Center)、MIROC5(AORI/NIES/JAMSTEC)、MPI-ESM-MR(Max Plank Institute)、MRI-CGCM3(気象庁)の昇温パターンがある。
・変数
「我が国の気候予測データセットの整備及びその解説書の作成について」(第2回気候変動に関する懇談会、2019.2.26)
https://www.data.jma.go.jp/cpdinfo/kikohendo_kondankai/part2/part2_gidai3.pdf
2022年までに創生・統合。SI-CATで得られた予測データを提供。
統合的気候モデル高度化研究プログラム
・ 温暖化予測情報の提供に関して(気象研、高薮、2016年)
https://www.env.go.jp/press/y0616-11/mat03.pdf
・力学的数値モデルによる気候情報の詳細化
http://www.nagare.or.jp/download/noauth.html?d=36-1_tokushu2.pdf&dir=47
d4PDF+20㎞
○アンサンブル気候予測データを用いた日本周辺の月降水量極端事象の将来変化(北大、初塚大輔ほか、2017、20㎞)
http://www.metsoc-hokkaido.jp/saihyo/pdf/saihyo63/3_hatsuzuka_mod.pdf
・気候の不確実性を考慮したダウンスケーリング技術の開発(佐藤友徳ほか、2017、20km)https://www.jamstec.go.jp/ceist/j/publication/annual/annual2016/pdf/2project/chapter1/1-8_sato.pdf
○ダウンスケーリングについての現状と課題(SI-CAT、防災科研、大楽、2017年、1km統計的DS)
https://si-cat.jp/_public/201703_WS/1-2.pdf
○損害保険のための日本全域洪水リスク評価モデルの開発(1):確率降雨イベントモデルの開発(SOMPO リスケアマネジメント、長野智絵ほか。2018)
https://www.jsnds.org/ssk/ssk_37_2_177.pdf
○時空間相関を考慮した地先の水害リスクの評価方法に関する研究(京大防災研、2015年)
http://www.jice.or.jp/cms/kokudo/pdf/review/assistances/results/h27/h27-06h.pdf
○多数アンサンブルのダウンスケーリングによる日本の気候の将来予測(村田昭彦ほか)
https://www.jamstec.go.jp/sousei/jp/event/others/d4PDFsympo/pdf/3_Murata.pdf
○日本の気候変動とその影響(気候変動の観測・予測及び影響評価統合レポート2018、環境省、文科省、農水省、国交省、気象庁)
https://stopsendaips.jp/wp-content/uploads/2017/10/180718kouB5.pdf
○気候モデルから得られる多数のアンサンブルデータを用いた確率降水量の推定法(北野利一、2017、20km)
https://www.jstage.jst.go.jp/article/jscejhe/73/4/73_I_1/_article/-char/ja
○超多数アンサンブル気候予測実験データを用いた極値河川流量の将来変化の分析(立川康人ほか、2017、20km)
https://www.jstage.jst.go.jp/article/jscejhe/73/3/73_77/_article/-char/ja
・水災害対策と洪水予測技術(IEEJ Journal、2017、20㎞)
http://hywr.kuciv.kyoto-u.ac.jp/publications/papers/2017%E9%9B%BB%E6%B0%97%E5%AD%A6%E4%BC%9A%E8%AA%8C137(5)_Tachikawa.pdf
・d4PDFを用いた年最大ピーク流量の確率分布の将来変化の分析(立川康人、2017年、流出モデルは1km)
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_56/_pdf/-char/ja
・d4PDFを用いた庄内川流域での最大クラスの外水氾濫の分析(京大、清原桂子ほか、2017年)
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_78/_article/-char/ja/
・洪水災害への影響(立川康人、2019)
http://togo-d.jp/assets/files/togo-d/20190524/6%E7%AB%8B%E5%B7%9D.pdf
・総合確率法を基礎とした水災害リスクカーブ作成手法の開発(京大、市川温、2015年)
http://www.mlit.go.jp/river/gijutsu/ryuikikadai/pdf/h27_report_ichikawa.pdf
・d4PDFを使用した将来気候下における荒川流域での洪水リスクの確率的評価(東京海上研究所、永野隆士ほか、?年)
https://www.tokiomarinehd.com/sustainability/theme1/pdf/jshwr-flood.pdf
・風水害対策および水資源確保への応用(京大防災研、立川康人、2018)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Tachikawa.pdf
○d4PDF関連気候研究のレビュー(塩竈秀夫、国立環境研究所、2018年)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Shiogama.pdf
・農環研飯泉・NIES塩竈がバイアス補正した4℃実験と2℃実験の日平均地表データを作成、公開予定(一部DIASで公開済み)
○d4PDFを用いた利根川流域降水量の極限評価(田中茂信、2017、20㎞) https://www.dpri.kyoto-u.ac.jp/nenpo/no60/ronbunB/a60b0p44.pdf
○d4PDFの目的と概要(気象研、高薮 出)
https://www.jamstec.go.jp/sousei/jp/event/others/d4PDFsympo/pdf/1_Takayabu.pdf
・d4PDFにおける強雨の要因分析(同上、2019、20㎞)
http://www.mlit.go.jp/river/shinngikai_blog/chisui_kentoukai/dai04kai/02_3_1_d4pdf.pdf
○アメダス観測点を対象としたd4PDFバイアス補正降水量データセット(東大、渡部哲史、2018、20㎞)
https://www.jstage.jst.go.jp/article/jshwr/31/0/31_6/_article/-char/ja
○アンサンブル気候変動予測データベース d4PDF を用いた長良川流域における洪水流出解析(岐阜大、原田守啓、2018)
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_62/_pdf
○アンサンブル気候予測データベースd4PDFを活用した四国での気候変動影響評価(高知工科大、吉村耕平ほか、2019、20㎞)
https://confit.atlas.jp/guide/event-img/jpgu2019/ACG43-11/public/pdf?type=in&lang=ja
○時空間相関を考慮した地先の水害リスクの評価方法に関する研究:大規模河川流域を対象として(京大防災研、多々納裕一ほか、20㎞) http://www.jice.or.jp/cms/kokudo/pdf/review/assistances/results/h27/h27-06g.pdf
○地球温暖化に伴う猛烈な熱帯低気圧の出現頻度変化(吉田 康平、気象研究所、2018年)
http://www.mri-jma.go.jp/Topics/H30/kankyosympo2018/files/poster_2.pdf
・大規模アンサンブル気候予測データを用いた爆弾低気圧の将来変化(金沢大学、高裕也ほか、2018)
https://kanazawa-u.repo.nii.ac.jp/?action=repository_action_common_download&item_id=44142&item_no=1&attribute_id=26&file_no=1
○気候変動に伴う都市災害への適応(北大、稲津將、2019)
https://www.erca.go.jp/suishinhi/seika/pdf/seika_2_03/2-1905.pdf
○建築環境の評価に向けた気候変動データの高度化(清水建設、PHAM VAN PHUC、2017)
https://www.gsic.titech.ac.jp/sites/default/files/H29_san_17IBB.pdf
○生態系評価に向けた大規模アンサンブル実験を用いた流域圏における溶存有機炭素(DOC)流出量の将来予測−釧路川流域を対象として−(岐阜大、北見工大)
http://www.esj.ne.jp/meeting/abst/65/P2-299.html
○アンサンブル気候予測データベース(d4PDF)における東アジア気候の再現性と将来変化(気象研、遠藤洋和ほか、2016年)
http://wind.gp.tohoku.ac.jp/yamase/reports/data12/Endo_160310.pdf
・気候変動に伴うアジア・太平洋地域における自然災害の分析と脆弱性への影響を踏まえた外交政策の分析・立案(外務省、2017)
https://www.mofa.go.jp/mofaj/press/release/press4_004998.html
○地球温暖化による穀物生産被害は過去30年間で平均すると世界全体で年間424億ドルと推定(農研機構 飯泉、国環研、気象研)
https://www.naro.affrc.go.jp/publicity_report/press/laboratory/niaes/120453.html
・世界の穀物生産に対するこれまでの気候変化影響(飯泉仁之直、60km、d4PDFのバイアス補正、2018)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Iizumi.pdf
○海岸線の複雑度を考慮した高潮偏差の誤差補正とd4PDFを用いた高潮偏差の長期評価(京大、梁 靖雅ほか、2017年)
https://www.jstage.jst.go.jp/article/kaigan/73/2/73_I_223/_pdf/-char/ja
・大阪府河川整備審議会 平成29年度高潮専門部会資料(2018-2019)
本ブログ内:https://earthsimulation.blogspot.com/2019/09/blog-post_28.html
・全球60kmAGCMを用いた大規模アンサンブル気候予測実験とこれを用いた高潮長期評価(森信人ほか、2016)
https://www.jstage.jst.go.jp/article/kaigan/72/2/72_I_1471/_pdf
○アンサンブルデータの効率的ダウンスケーリング手法の開発(吉村圭ほか、2016)
http://isotope.iis.u-tokyo.ac.jp/~kei/tmp/161227SouseiC_Unei_Yoshimura_v3.pptx
○20kmメッシュd4PDF降水データの確率水文量のバイアス補正に関する検討
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_65/_pdf/-char/ja
d4PDF+力学的ダウンスケーリング
○北海道における気候変動に伴う洪水リスク(北大、室蘭工大)
本ブログ内:https://earthsimulation.blogspot.com/2019/09/blog-post_10.html
○地球温暖化による降雨特性の変化が土砂災害発生頻度へ与える影響分析(国総研、野田智之ほか、2019)
http://www.jsece.or.jp/event/conf/abstract/2019/pdf/377.pdf
○岐阜を対象とした豪雨事例解析と適応策に向けた展開(岐阜大、原田守啓ほか、2018)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Harada.pdf
・d4PDFデータの妥当性-“MRI-AGCM60/20のパフォーマンス”(統合プロ)/“NHRCMによるダウンスケーリングのポテンシャル”(SI-CAT)(2018年)
https://www.mlit.go.jp/river/shinngikai_blog/chisui_kentoukai/dai02kai/dai02kai_siryou3-3.pdf
・力学モデルによる近未来気候の超高解像度ダウンスケールシミュレーション(岐阜大、丸山靖幸ほか、5km、2017年)
https://www.jamstec.go.jp/ceist/j/publication/annual/annual2017/pdf/2project/chapter1/1-8_yamazaki.pdf
○SI-CATプロジェクトにおける力学DSデータセットの構築(東北大 佐々井崇博、気象研、JAMSTEC。岐阜県の雨、長野県の雪、NHRCM)
http://wind.gp.tohoku.ac.jp/yamase/reports/data14/sasai.pdf
・5km 地域気候アンサンブル実験によって計算された西日本から東北日本おける強い降雪発生時の総観場の特徴(気象研、川瀬宏明ほか、2018年)
https://www.jstage.jst.go.jp/article/jmsj/96/2/96_2018-022/_supplement/_download/96_2018-022_1.pdf
・力学モデルによる近未来気候の超高解像度ダウンスケールシミュレーション
https://www.jamstec.go.jp/ceist/j/publication/annual/annual2016/pdf/2project/chapter1/1-9_yamazaki.pdf
○気候変動を踏まえた治水計画に係る技術検討会(国交省、2019年)
本ブログ内:https://earthsimulation.blogspot.com/2019/09/blog-post_21.html
○領域気候モデルとd4PDFを用いた梅雨豪雨の将来変化に関するマルチスケール解析(京大防災研、中北英一ほか、2018年、5km、2kmRCMを使用)
https://www.dpri.kyoto-u.ac.jp/nenpo/no61/ronbunB/a61b0p28.pdf
○適応としての治水計画(国交省、2019)
http://togo-d.jp/assets/files/togo-d/20190524/10%E6%A3%AE%E6%9C%AC.pdf
http://www.miroc-gcm.jp/~pub/d4PDF/index.html
ダウンロード(DIAS共通アカウントでログイン)
http://search.diasjp.net/ja/dataset/d4PDF_GCM
http://search.diasjp.net/ja/dataset/d4PDF_RCM
SEAL(SI-CAT気候実験データベースシステム)
http://www.jamstec.go.jp/j/about/press_release/20200227/
・GCM(60kmメッシュ、MRI-AGCM3.2)とRCM(20kmメッシュ、NHRCM)がある。
・過去実験(1951年~2011年8月 ×100メンバ)、非温暖化実験(産業革命前の条件、1951年~2010年×100メンバ)、将来2度昇温実験(2031年~2091年8月×54メンバ)、将来4度昇温実験(2051年~2111年8月×90メンバ)がある。
・昇温実験ではCCSM4(NCAR)、GFDL-CM3(プリンストン大/NOAA)、HadGEM2-AO(Hadley Center)、MIROC5(AORI/NIES/JAMSTEC)、MPI-ESM-MR(Max Plank Institute)、MRI-CGCM3(気象庁)の昇温パターンがある。
・変数
- 地上大気データ:雨、氷、雪、みぞれ、あられ・ひょう、気圧、風速ベクトル、気温、湿数、雲カバー、可降水量
- 熱力学関連2次元データ:体積含水率、顕熱、潜熱、短波長放射、長波長放射、太陽放射、比湿、土壌温度、気温、風速
- 土壌関係データ:キャノピー温度、地上温度、雪表面温度、土壌温度、土壌水分の飽和比、土壌氷の飽和比、雪の温度、表面流出、下排水、葉からの蒸散、雪からの昇華、雪解け、
- 大気3次元データ:
「我が国の気候予測データセットの整備及びその解説書の作成について」(第2回気候変動に関する懇談会、2019.2.26)
https://www.data.jma.go.jp/cpdinfo/kikohendo_kondankai/part2/part2_gidai3.pdf
2022年までに創生・統合。SI-CATで得られた予測データを提供。
統合的気候モデル高度化研究プログラム
・ 温暖化予測情報の提供に関して(気象研、高薮、2016年)
https://www.env.go.jp/press/y0616-11/mat03.pdf
・力学的数値モデルによる気候情報の詳細化
http://www.nagare.or.jp/download/noauth.html?d=36-1_tokushu2.pdf&dir=47
d4PDF+20㎞
○アンサンブル気候予測データを用いた日本周辺の月降水量極端事象の将来変化(北大、初塚大輔ほか、2017、20㎞)
http://www.metsoc-hokkaido.jp/saihyo/pdf/saihyo63/3_hatsuzuka_mod.pdf
・気候の不確実性を考慮したダウンスケーリング技術の開発(佐藤友徳ほか、2017、20km)https://www.jamstec.go.jp/ceist/j/publication/annual/annual2016/pdf/2project/chapter1/1-8_sato.pdf
○ダウンスケーリングについての現状と課題(SI-CAT、防災科研、大楽、2017年、1km統計的DS)
https://si-cat.jp/_public/201703_WS/1-2.pdf
○損害保険のための日本全域洪水リスク評価モデルの開発(1):確率降雨イベントモデルの開発(SOMPO リスケアマネジメント、長野智絵ほか。2018)
https://www.jsnds.org/ssk/ssk_37_2_177.pdf
○時空間相関を考慮した地先の水害リスクの評価方法に関する研究(京大防災研、2015年)
http://www.jice.or.jp/cms/kokudo/pdf/review/assistances/results/h27/h27-06h.pdf
○多数アンサンブルのダウンスケーリングによる日本の気候の将来予測(村田昭彦ほか)
https://www.jamstec.go.jp/sousei/jp/event/others/d4PDFsympo/pdf/3_Murata.pdf
○日本の気候変動とその影響(気候変動の観測・予測及び影響評価統合レポート2018、環境省、文科省、農水省、国交省、気象庁)
https://stopsendaips.jp/wp-content/uploads/2017/10/180718kouB5.pdf
○気候モデルから得られる多数のアンサンブルデータを用いた確率降水量の推定法(北野利一、2017、20km)
https://www.jstage.jst.go.jp/article/jscejhe/73/4/73_I_1/_article/-char/ja
○超多数アンサンブル気候予測実験データを用いた極値河川流量の将来変化の分析(立川康人ほか、2017、20km)
https://www.jstage.jst.go.jp/article/jscejhe/73/3/73_77/_article/-char/ja
・水災害対策と洪水予測技術(IEEJ Journal、2017、20㎞)
http://hywr.kuciv.kyoto-u.ac.jp/publications/papers/2017%E9%9B%BB%E6%B0%97%E5%AD%A6%E4%BC%9A%E8%AA%8C137(5)_Tachikawa.pdf
・d4PDFを用いた年最大ピーク流量の確率分布の将来変化の分析(立川康人、2017年、流出モデルは1km)
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_56/_pdf/-char/ja
・d4PDFを用いた庄内川流域での最大クラスの外水氾濫の分析(京大、清原桂子ほか、2017年)
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_78/_article/-char/ja/
・洪水災害への影響(立川康人、2019)
http://togo-d.jp/assets/files/togo-d/20190524/6%E7%AB%8B%E5%B7%9D.pdf
・総合確率法を基礎とした水災害リスクカーブ作成手法の開発(京大、市川温、2015年)
http://www.mlit.go.jp/river/gijutsu/ryuikikadai/pdf/h27_report_ichikawa.pdf
・d4PDFを使用した将来気候下における荒川流域での洪水リスクの確率的評価(東京海上研究所、永野隆士ほか、?年)
https://www.tokiomarinehd.com/sustainability/theme1/pdf/jshwr-flood.pdf
・風水害対策および水資源確保への応用(京大防災研、立川康人、2018)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Tachikawa.pdf
○d4PDF関連気候研究のレビュー(塩竈秀夫、国立環境研究所、2018年)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Shiogama.pdf
・農環研飯泉・NIES塩竈がバイアス補正した4℃実験と2℃実験の日平均地表データを作成、公開予定(一部DIASで公開済み)
○d4PDFを用いた利根川流域降水量の極限評価(田中茂信、2017、20㎞) https://www.dpri.kyoto-u.ac.jp/nenpo/no60/ronbunB/a60b0p44.pdf
○d4PDFの目的と概要(気象研、高薮 出)
https://www.jamstec.go.jp/sousei/jp/event/others/d4PDFsympo/pdf/1_Takayabu.pdf
・d4PDFにおける強雨の要因分析(同上、2019、20㎞)
http://www.mlit.go.jp/river/shinngikai_blog/chisui_kentoukai/dai04kai/02_3_1_d4pdf.pdf
○アメダス観測点を対象としたd4PDFバイアス補正降水量データセット(東大、渡部哲史、2018、20㎞)
https://www.jstage.jst.go.jp/article/jshwr/31/0/31_6/_article/-char/ja
○アンサンブル気候変動予測データベース d4PDF を用いた長良川流域における洪水流出解析(岐阜大、原田守啓、2018)
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_62/_pdf
○アンサンブル気候予測データベースd4PDFを活用した四国での気候変動影響評価(高知工科大、吉村耕平ほか、2019、20㎞)
https://confit.atlas.jp/guide/event-img/jpgu2019/ACG43-11/public/pdf?type=in&lang=ja
○時空間相関を考慮した地先の水害リスクの評価方法に関する研究:大規模河川流域を対象として(京大防災研、多々納裕一ほか、20㎞) http://www.jice.or.jp/cms/kokudo/pdf/review/assistances/results/h27/h27-06g.pdf
○地球温暖化に伴う猛烈な熱帯低気圧の出現頻度変化(吉田 康平、気象研究所、2018年)
http://www.mri-jma.go.jp/Topics/H30/kankyosympo2018/files/poster_2.pdf
・大規模アンサンブル気候予測データを用いた爆弾低気圧の将来変化(金沢大学、高裕也ほか、2018)
https://kanazawa-u.repo.nii.ac.jp/?action=repository_action_common_download&item_id=44142&item_no=1&attribute_id=26&file_no=1
○気候変動に伴う都市災害への適応(北大、稲津將、2019)
https://www.erca.go.jp/suishinhi/seika/pdf/seika_2_03/2-1905.pdf
○建築環境の評価に向けた気候変動データの高度化(清水建設、PHAM VAN PHUC、2017)
https://www.gsic.titech.ac.jp/sites/default/files/H29_san_17IBB.pdf
○生態系評価に向けた大規模アンサンブル実験を用いた流域圏における溶存有機炭素(DOC)流出量の将来予測−釧路川流域を対象として−(岐阜大、北見工大)
http://www.esj.ne.jp/meeting/abst/65/P2-299.html
○アンサンブル気候予測データベース(d4PDF)における東アジア気候の再現性と将来変化(気象研、遠藤洋和ほか、2016年)
http://wind.gp.tohoku.ac.jp/yamase/reports/data12/Endo_160310.pdf
・気候変動に伴うアジア・太平洋地域における自然災害の分析と脆弱性への影響を踏まえた外交政策の分析・立案(外務省、2017)
https://www.mofa.go.jp/mofaj/press/release/press4_004998.html
○地球温暖化による穀物生産被害は過去30年間で平均すると世界全体で年間424億ドルと推定(農研機構 飯泉、国環研、気象研)
https://www.naro.affrc.go.jp/publicity_report/press/laboratory/niaes/120453.html
・世界の穀物生産に対するこれまでの気候変化影響(飯泉仁之直、60km、d4PDFのバイアス補正、2018)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Iizumi.pdf
○海岸線の複雑度を考慮した高潮偏差の誤差補正とd4PDFを用いた高潮偏差の長期評価(京大、梁 靖雅ほか、2017年)
https://www.jstage.jst.go.jp/article/kaigan/73/2/73_I_223/_pdf/-char/ja
・大阪府河川整備審議会 平成29年度高潮専門部会資料(2018-2019)
本ブログ内:https://earthsimulation.blogspot.com/2019/09/blog-post_28.html
・全球60kmAGCMを用いた大規模アンサンブル気候予測実験とこれを用いた高潮長期評価(森信人ほか、2016)
https://www.jstage.jst.go.jp/article/kaigan/72/2/72_I_1471/_pdf
○アンサンブルデータの効率的ダウンスケーリング手法の開発(吉村圭ほか、2016)
http://isotope.iis.u-tokyo.ac.jp/~kei/tmp/161227SouseiC_Unei_Yoshimura_v3.pptx
○20kmメッシュd4PDF降水データの確率水文量のバイアス補正に関する検討
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_65/_pdf/-char/ja
d4PDF+力学的ダウンスケーリング
○北海道における気候変動に伴う洪水リスク(北大、室蘭工大)
本ブログ内:https://earthsimulation.blogspot.com/2019/09/blog-post_10.html
○地球温暖化による降雨特性の変化が土砂災害発生頻度へ与える影響分析(国総研、野田智之ほか、2019)
http://www.jsece.or.jp/event/conf/abstract/2019/pdf/377.pdf
○岐阜を対象とした豪雨事例解析と適応策に向けた展開(岐阜大、原田守啓ほか、2018)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Harada.pdf
・d4PDFデータの妥当性-“MRI-AGCM60/20のパフォーマンス”(統合プロ)/“NHRCMによるダウンスケーリングのポテンシャル”(SI-CAT)(2018年)
https://www.mlit.go.jp/river/shinngikai_blog/chisui_kentoukai/dai02kai/dai02kai_siryou3-3.pdf
・力学モデルによる近未来気候の超高解像度ダウンスケールシミュレーション(岐阜大、丸山靖幸ほか、5km、2017年)
https://www.jamstec.go.jp/ceist/j/publication/annual/annual2017/pdf/2project/chapter1/1-8_yamazaki.pdf
○SI-CATプロジェクトにおける力学DSデータセットの構築(東北大 佐々井崇博、気象研、JAMSTEC。岐阜県の雨、長野県の雪、NHRCM)
http://wind.gp.tohoku.ac.jp/yamase/reports/data14/sasai.pdf
・5km 地域気候アンサンブル実験によって計算された西日本から東北日本おける強い降雪発生時の総観場の特徴(気象研、川瀬宏明ほか、2018年)
https://www.jstage.jst.go.jp/article/jmsj/96/2/96_2018-022/_supplement/_download/96_2018-022_1.pdf
・力学モデルによる近未来気候の超高解像度ダウンスケールシミュレーション
https://www.jamstec.go.jp/ceist/j/publication/annual/annual2016/pdf/2project/chapter1/1-9_yamazaki.pdf
○気候変動を踏まえた治水計画に係る技術検討会(国交省、2019年)
本ブログ内:https://earthsimulation.blogspot.com/2019/09/blog-post_21.html
○領域気候モデルとd4PDFを用いた梅雨豪雨の将来変化に関するマルチスケール解析(京大防災研、中北英一ほか、2018年、5km、2kmRCMを使用)
https://www.dpri.kyoto-u.ac.jp/nenpo/no61/ronbunB/a61b0p28.pdf
○適応としての治水計画(国交省、2019)
http://togo-d.jp/assets/files/togo-d/20190524/10%E6%A3%AE%E6%9C%AC.pdf
Monday, November 19, 2018
気象APIの実例
●livedoor天気情報
http://weather.livedoor.com/weather_hacks/webservice
http://weather.livedoor.com/forecast/webservice/json/v1
http://weather.livedoor.com/forecast/webservice/json/v1?city=400040
JSON(xml)
●NOAA Climate Data Online: Web Services Documentation
https://www.ncdc.noaa.gov/cdo-web/webservices/v2#gettingStarted
無料、RESTful データサービスがある。
●Planet OS
https://planetos.com/
●OpenWeatherMap
本ブログ内:https://earthsimulation.blogspot.com/2018/03/openweathermap.html
http://weather.livedoor.com/weather_hacks/webservice
http://weather.livedoor.com/forecast/webservice/json/v1
http://weather.livedoor.com/forecast/webservice/json/v1?city=400040
JSON(xml)
●NOAA Climate Data Online: Web Services Documentation
https://www.ncdc.noaa.gov/cdo-web/webservices/v2#gettingStarted
無料、RESTful データサービスがある。
●Planet OS
https://planetos.com/
●OpenWeatherMap
本ブログ内:https://earthsimulation.blogspot.com/2018/03/openweathermap.html
世界気象通信網(GTS)
世界気象監視計画WWWは全球監視システムGOS、全球通信システムGTS、全球データ処理・予報システムGDPFS、WWWデータ寒地WWWDM等からなる。
気象情報通信
http://www.kma.go.kr/jpn/biz/ict_01.jsp
海洋観測データの収集について
https://ds.data.jma.go.jp/gmd/goos/data/exchange/index.html
インマルサット及びインターネット経由で気象データを収集。
気象情報通信
http://www.kma.go.kr/jpn/biz/ict_01.jsp
海洋観測データの収集について
https://ds.data.jma.go.jp/gmd/goos/data/exchange/index.html
インマルサット及びインターネット経由で気象データを収集。
Tuesday, November 13, 2018
ミドルウェア
●ミドルウェアの種類と役割、その特徴
http://ossforum.jp/node/513
●新人エンジニアのためのインフラ入門 ーBFT道場 Think IT支部 記事一覧
・ITインフラの全体像を理解しよう
https://thinkit.co.jp/article/11526
・インフラの中核を担う「サーバ」を知ろう
https://thinkit.co.jp/article/11606
・サーバと双璧をなすインフラの中核「ネットワーク」を知ろう
https://thinkit.co.jp/article/11674
階層構造
・システム構築の主流「仮想化」と「クラウド」を知ろう
https://thinkit.co.jp/article/11743
・ミドルウェア(Web、Ap、DB)について知ろう 2017
https://thinkit.co.jp/article/11837
ミドルウェアの分類
・ミドルウェア(システム運用)について知ろう 2017
https://thinkit.co.jp/article/12056
・インフラエンジニアの仕事について知ろう
https://thinkit.co.jp/article/12309
・セキュリティについて知ろうa>
https://thinkit.co.jp/article/12836
・プログラミングについて知ろう
https://thinkit.co.jp/article/12949
http://ossforum.jp/node/513
サーバの種類 | ミドルウェアOSSの例 |
Webサーバ | Apache HTTP Server |
アプリケーションサーバ | JBoss、Tomcat |
データベース管理サーバ | MySQL, PostgreSQL, Firebird |
●新人エンジニアのためのインフラ入門 ーBFT道場 Think IT支部 記事一覧
・ITインフラの全体像を理解しよう
https://thinkit.co.jp/article/11526
・インフラの中核を担う「サーバ」を知ろう
https://thinkit.co.jp/article/11606
・サーバと双璧をなすインフラの中核「ネットワーク」を知ろう
https://thinkit.co.jp/article/11674
階層構造
アプリケーション層 | HTTP, SMTP, SSH |
トランスポート層 | TCP, UDP |
インターネット層 | IP |
ネットワークインタフェース層 | イーサネット |
・システム構築の主流「仮想化」と「クラウド」を知ろう
https://thinkit.co.jp/article/11743
・ミドルウェア(Web、Ap、DB)について知ろう 2017
https://thinkit.co.jp/article/11837
ミドルウェアの分類
Web | Apache HTTP Server, IIS, Nginx |
AP | Cosminexus Applicatin Server, JBoss, Tomcat, WebLogic, WebSphere Application Server |
DB | DB2, MySQL, Oracle Database, PostgreSQL, SQLServer |
バックアップ | Arcserve, Backup Exec, NetBackup, NetVault |
ジョブ運用 | JP1, Senju, SystemWalker, Tivoli, WebSAM |
監視 | Hinemos, JP1, OpenView, Senju, SystemWalker, Tivoli, WebSAM, ZABBIX |
高可用性クラスタ | CLUSTERPRO, HACMP, HAモニタ, HeartBeat, LifeKeeper, MSCS, PRIMECLUSTER, ServiceGuard, VCS |
https://thinkit.co.jp/article/12056
・インフラエンジニアの仕事について知ろう
https://thinkit.co.jp/article/12309
・セキュリティについて知ろうa>
https://thinkit.co.jp/article/12836
・プログラミングについて知ろう
https://thinkit.co.jp/article/12949
Monday, November 12, 2018
ファイアウォール
ウィキペディア
ファイアウォールとは?
ポート(0~65535番)を制御する仕組み。インターネットと社内ネットワークの間を出入りするパケットの送信元とあて先の情報を見て判断している。アプリケーションゲートウェイ型ではデータの中身をデータベースと照らし合わせる。
(ファイアウォールの弱点)
・ファイアーウォールが防げるのは、ハッカー や ワーム による攻撃に限られる。一方、ウイルスからコンピュータを守るにはウイルス対策ソフトが必要。
・サーバの欠陥であるバグを狙った攻撃からは守れない。
・内部からの攻撃からは守れない。
・設定ミスがあると守れない。
・バッファオーバフロー攻撃、DoS攻撃、DDおS攻撃からは守れない。(攻撃を検知してIDSやIPSなどの装置と組み合わせる。)
(ファイアウォールの種類)
・パケットフィルタ型(狭義のファイアウォール)
パケットのヘッダ(IPアドレスとPort番号)を解析して通過させるか判断する。基本的にはレイヤ3・ネットワーク層で通信制御を判断するが、フィルタの種類によってはレイヤ4・トランスポート層のヘッダも参照する。
ウイルスやスパムにはお手上げ。
静的フィルタリングとダイナミックパケットフィルタリングがある。
・サーキットレベルゲートウェイ型
TCP/IPなどのレイヤ4・トランスポート層のレベルで通信を代替。
トランスポート層のファイアウォール。
・アプリケーションゲートウェイ型(プロキシサーバ)
プロキシサーバで社内ネットワークとインタネットの間を中継する方式。レイヤ7のHTTP や FTP といった、アプリケーション層で外部との通信を代替し、制御する。
ただしそうするには、アプリケーションプロトコルごとに個別のゲートウェイプログラムが必要となる。
・ステートフル(パケット)インスペクション型
・次世代型
ファイアウォールとは | セキュリティ基礎知識・仕組み・種類を初心者向けに解説
https://boxil.jp/mag/a1288/
5分で絶対に分かるファイアウォール
http://www.atmarkit.co.jp/ait/articles/0203/01/news002.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_2.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_3.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_4.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_5.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_6.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_7.html
ファイアーウォールが どんなものか知っていますか? 2016(後半は要登録)
https://korobehashire.blog.fc2.com/blog-entry-431.html
不正アクセスを防ぐファイアウォールの仕組み 2009
http://ascii.jp/elem/000/000/447/447615/
http://ascii.jp/elem/000/000/447/447615/index-2.html
http://ascii.jp/elem/000/000/447/447615/index-3.html
http://ascii.jp/elem/000/000/447/447615/index-4.html
http://ascii.jp/elem/000/000/447/447615/index-5.html
http://ascii.jp/elem/000/000/447/447615/index-6.html
セキュリティの基本:ポートとポートスキャンとは?
https://www.linuxacademy.ne.jp/lablog/infrastructure/144/
ファイアウォールとは?
ポート(0~65535番)を制御する仕組み。インターネットと社内ネットワークの間を出入りするパケットの送信元とあて先の情報を見て判断している。アプリケーションゲートウェイ型ではデータの中身をデータベースと照らし合わせる。
(ファイアウォールの弱点)
・ファイアーウォールが防げるのは、ハッカー や ワーム による攻撃に限られる。一方、ウイルスからコンピュータを守るにはウイルス対策ソフトが必要。
・サーバの欠陥であるバグを狙った攻撃からは守れない。
・内部からの攻撃からは守れない。
・設定ミスがあると守れない。
・バッファオーバフロー攻撃、DoS攻撃、DDおS攻撃からは守れない。(攻撃を検知してIDSやIPSなどの装置と組み合わせる。)
(ファイアウォールの種類)
・パケットフィルタ型(狭義のファイアウォール)
パケットのヘッダ(IPアドレスとPort番号)を解析して通過させるか判断する。基本的にはレイヤ3・ネットワーク層で通信制御を判断するが、フィルタの種類によってはレイヤ4・トランスポート層のヘッダも参照する。
ウイルスやスパムにはお手上げ。
静的フィルタリングとダイナミックパケットフィルタリングがある。
・サーキットレベルゲートウェイ型
TCP/IPなどのレイヤ4・トランスポート層のレベルで通信を代替。
トランスポート層のファイアウォール。
プロキシサーバで社内ネットワークとインタネットの間を中継する方式。レイヤ7のHTTP や FTP といった、アプリケーション層で外部との通信を代替し、制御する。
ただしそうするには、アプリケーションプロトコルごとに個別のゲートウェイプログラムが必要となる。
・ステートフル(パケット)インスペクション型
・次世代型
ファイアウォールとは | セキュリティ基礎知識・仕組み・種類を初心者向けに解説
https://boxil.jp/mag/a1288/
5分で絶対に分かるファイアウォール
http://www.atmarkit.co.jp/ait/articles/0203/01/news002.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_2.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_3.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_4.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_5.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_6.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_7.html
ファイアーウォールが どんなものか知っていますか? 2016(後半は要登録)
https://korobehashire.blog.fc2.com/blog-entry-431.html
不正アクセスを防ぐファイアウォールの仕組み 2009
http://ascii.jp/elem/000/000/447/447615/
http://ascii.jp/elem/000/000/447/447615/index-2.html
http://ascii.jp/elem/000/000/447/447615/index-3.html
http://ascii.jp/elem/000/000/447/447615/index-4.html
http://ascii.jp/elem/000/000/447/447615/index-5.html
http://ascii.jp/elem/000/000/447/447615/index-6.html
セキュリティの基本:ポートとポートスキャンとは?
https://www.linuxacademy.ne.jp/lablog/infrastructure/144/
Thursday, November 8, 2018
Apache/ アパッチ
Apache(Apache Software Foundation)はOpen Source Software Foundationの一つ。https://www.apache.org/
最も普及しているWebサーバソフトウェアの名前がApache。実はApache HTTP Server(ウィキペディア)が正式名。ApacheライセンスのHTTP Servar softwareのこと。
最も普及しているWebサーバソフトウェアの名前がApache。実はApache HTTP Server(ウィキペディア)が正式名。ApacheライセンスのHTTP Servar softwareのこと。
サーバソフトウェアとWebサーバソフト
サーバソフトウェア 【 server software 】 サーバソフト(IT用語辞典)2015
http://e-words.jp/w/%E3%82%B5%E3%83%BC%E3%83%90%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2.html
クライアントソフトウェアと対になってる。
サーバソフトウェアを稼働させるのがサーバOS。
●Webサーバ
主なWebサーバソフト
・Internet Information Service(マイクロソフト)
・エンジンエックス(nignx)
・Apache HTTP Server(ApacheライセンスのオープンソースのWebサーバソフト。OSに依存しない。)単にApacheと呼ぶことが多いかも。
公式サイト:https://httpd.apache.org/
http://e-words.jp/w/%E3%82%B5%E3%83%BC%E3%83%90%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2.html
クライアントソフトウェアと対になってる。
サーバソフトウェアを稼働させるのがサーバOS。
●Webサーバ
主なWebサーバソフト
・Internet Information Service(マイクロソフト)
・エンジンエックス(nignx)
・Apache HTTP Server(ApacheライセンスのオープンソースのWebサーバソフト。OSに依存しない。)単にApacheと呼ぶことが多いかも。
公式サイト:https://httpd.apache.org/
世界で最も人気のwebサーバーソフト、Apacheとは 2017
https://ec-orange.jp/ec-media/?p=17628
代表的なWebサーバソフトウェア
http://www.fusionia.jp/intern/blog/677.html
Apacheだけじゃない。Webサーバーソフトウエアのトレンド 2016
https://persol-tech-s.co.jp/hatalabo/it_engineer/215-2.html
●ファイルサーバ(ファイル共有ソフトが起動している)
●データベースサーバ
●DHCPサーバ(ネットワーク上にある機器にIPアドレスを自動的に割り振るソフトが起動している)
サーバーとは何ぞや?
http://www.24recommend.com/file-server/file-serverl.html
本ブログ内:サーバー
https://earthsimulation.blogspot.com/2018/10/blog-post_30.html
https://ec-orange.jp/ec-media/?p=17628
代表的なWebサーバソフトウェア
http://www.fusionia.jp/intern/blog/677.html
Apacheだけじゃない。Webサーバーソフトウエアのトレンド 2016
https://persol-tech-s.co.jp/hatalabo/it_engineer/215-2.html
●ファイルサーバ(ファイル共有ソフトが起動している)
●データベースサーバ
●DHCPサーバ(ネットワーク上にある機器にIPアドレスを自動的に割り振るソフトが起動している)
サーバーとは何ぞや?
http://www.24recommend.com/file-server/file-serverl.html
本ブログ内:サーバー
https://earthsimulation.blogspot.com/2018/10/blog-post_30.html
サーバーのハッキングと改竄
手法 | サーバ側対策 | クライアント側対策 |
スヌープ攻撃(通信傍受) | ユーザ情報を送受信するサーバはhttpsに | |
中間者攻撃(不正ログイン、偽サイト、コンピュータウィルス) | ユーザ認証の二重認証化、 | アンチウィルスソフト |
インジェクション攻撃 | セキュリティホールとなるミドルウェアを置かない、静的サイト | |
バッファーオーバーフロー | ??? |
https://earthsimulation.blogspot.com/2018/11/blog-post_12.html
本ブログ内:インジェクション攻撃
https://earthsimulation.blogspot.com/2018/12/blog-post.html
●不正アクセスの対策!手口と事例を知って被害を防ぐ 2016
https://securitynavi.jp/1010
・不正ログインでの攻撃方法
- 総当たり攻撃(ブルートフォースアタック)
- 辞書攻撃
- パスワードリスト攻撃(不正ログイン後)
- コンピュータウイルス
・脆弱性を突いた不正アクセスの方法
- SQLインジェクション
- OSコマンドインジェクション
- クロスサイトスクリプティング(不正なURLを踏ませる)
- バッファオーナーフロー
- セッションハイジャック(通信内容の傍受)
●ネットワーク通信のセキュリティ機能
https://developer.apple.com/jp/documentation/NetworkingInternetWeb/Conceptual/NetworkingOverview/SecureNetworking/SecureNetworking.html
・スヌープ攻撃(伝送中のデータを覗き見る)
・中間者攻撃(プログラムとサーバの間に第三者が介在)
- 偽サーバによるスプーフィング、フィッシング
- タンベリング
- 認証情報を盗み見るセッションハイジャック
・インジェクション攻撃(巧妙に作ったデータを渡して、意図せぬコマンドを実行させる)
・バッファオーバーフロー、数値オーバーフロー(巧妙に作ったデータを渡して、任意のコードを実行させたり、秘密情報を漏えいさせる。)
●ほとんどのセキュリティ問題はインジェクション問題 – インジェクションパターンとして理解すると簡単 2018
https://blog.ohgaki.net/almost-all-security-issues-are-injections
(直接インジェクション)
・強制ブラウズ:特定のリソースに直接アクセスできる。
・認証漏れ:本来認証機能で保護されるべきリソースに保護されずにアクセスできる。
・直接SQLインジェクション
・直接コマンド実行
・DoS(サービス不能攻撃)
(間接インジェクション)
・クロスサイトスクリプティング:ブラウズを経由してインジェクション
・クロスサイトリクエストフォージェリー:認証済みブラウザのセッションを経由してアクセス
・間接SQLインジェクション:システムに保存されたデータを経由
・間接コマンド実行
・権限昇格
・XXE
・DoS
(その他)
・レースコンディション
●またも新手、サイバー対策、コストを抑える5つの掟 2018
https://www.nikkei.com/article/DGXMZO36552980W8A011C1000000/
ビジネスメール詐欺
マイニングマルウェア
(クラウド)
・AWS-WAF(検知・検疫)
・セキュリティグループ
(インターネット)
・SOC(Security Operation Center)
・CASB(検知・検疫)
(社内)
・ファイアウォール、IDS/IPS(入口・出口対策)
・プロキシサーバ
・EDRサーバ(検知・検疫)
・サンドボックス(検知・検疫)
・パーソナルファイアウォール(入口・出口対策)、ウィルス対策ソフト、管理エージェント
・認証サーバ
・ログ分析製品
(DMZ)
・脆弱性診断サービス
・Webアプリケーションファイアウォール
●情報セキュリティ(IPAセキュア・プログラミング講座)
https://www.ipa.go.jp/security/awareness/vendor/programming/
●APIのセキュリティ対策をガートナーが解説、具体的に押さえるべき3つのポイントとは(後編は要会員登録)
https://www.sbbit.jp/article/cont1/35205
●Webサーバーがハックされたときにやるべきこと 2015
https://qiita.com/ninoseki/items/a60459a76def17a47d0d
・事前の準備
・改竄の検知
・改竄検知後の対策
- 別サイトへのリダイレクト
- ・・・・・・・・
WebページとWebサーバとTCP/IPプロトコル
WebページはWebサーバに置かれている。WebページをさまざななOSのPCやスマホで閲覧できるのは、TCP/IPプロトコルという通信規約で結ばれているから。
TCP/IPプロトコルには
・HTTP
・SSL(暗号化通信)
・POP3(メール受信)/SMTP(メール送信)
・FTP(ファイル転送)
・SMB(ネットワーク内でのプリンタ等の共有)/DGCP(ネットワーク内でのプライベートIPアドレスの割り当て)
・TCP(コネクション型データ送受信)/UDP(コネクションレス型通信。IP電話、Web会議、チャット、動画ストリーミングで使用)
・IP(データ・パケットを指定場所に届ける)/OPsec(左記を暗号化して届ける。VPNなど)
・Ethernet(LAN接続)/PPPoE(Ethernet+PPPプロトコルで通信。ブロードバンド接続等)
プロトコルには階層があって
TCP/IPプロトコルとは
https://www.pc-master.jp/internet/tcp-ip-protocol.html
SSL/TLSは何層? 2015
http://d.hatena.ne.jp/takehikom/20150803/1438601460
●初心者のためのネットワーク技術(ITBOOK)
https://www.itbook.info/cat/network.html
>データの流れ
https://www.itbook.info/study/p42.html
●TCP/IP通信プロトコルとOSI参照モデルの関係
http://manabu.quu.cc/up/6/e62310.htm
●リトライ! 触って学ぶTCP/IP 2015
http://www.atmarkit.co.jp/ait/articles/1507/31/news004.html
http://www.atmarkit.co.jp/ait/articles/1508/31/news016.html
http://www.atmarkit.co.jp/ait/articles/1508/31/news016_2.html
http://www.atmarkit.co.jp/ait/articles/1508/31/news016_3.html
http://www.atmarkit.co.jp/ait/articles/1608/10/news021.html
http://www.atmarkit.co.jp/ait/articles/1608/10/news021_2.html
●データの流れ(ネットワークエンジニアを目指して)
https://www.itbook.info/study/p42.html
TCP/IPプロトコルには
・HTTP
・SSL(暗号化通信)
・POP3(メール受信)/SMTP(メール送信)
・FTP(ファイル転送)
・SMB(ネットワーク内でのプリンタ等の共有)/DGCP(ネットワーク内でのプライベートIPアドレスの割り当て)
・TCP(コネクション型データ送受信)/UDP(コネクションレス型通信。IP電話、Web会議、チャット、動画ストリーミングで使用)
・IP(データ・パケットを指定場所に届ける)/OPsec(左記を暗号化して届ける。VPNなど)
・Ethernet(LAN接続)/PPPoE(Ethernet+PPPプロトコルで通信。ブロードバンド接続等)
プロトコルには階層があって
階層 | TCP/IPプロトコル | 例 |
アプリケーション層(アプリケーション層、プレゼンテーション層、セッション層) | DNMP、DNS、RIP、HTTP、POP3、SMTP、FTP、DHCP、Telnet | ブラウザ起動 URL入力 HTTPリクエスト |
トランスポート層 | TCP、UDP | 送信元ポート・送信先ポート番号指定 |
インターネット層(ネットワーク層) | IP、IPsec、ARP、ICMP | 送信元、送信先IPアドレス指定 |
ネットワークインターフェース層(データリンク層、物理層) | LAN規格:Ethernet、TokenRing、FDDI WAN規格:ISDN、PPP、PPPoE | ビット列・電気信号に変え LANで運ぶ |
https://www.pc-master.jp/internet/tcp-ip-protocol.html
SSL/TLSは何層? 2015
http://d.hatena.ne.jp/takehikom/20150803/1438601460
●初心者のためのネットワーク技術(ITBOOK)
https://www.itbook.info/cat/network.html
>データの流れ
https://www.itbook.info/study/p42.html
●TCP/IP通信プロトコルとOSI参照モデルの関係
http://manabu.quu.cc/up/6/e62310.htm
●リトライ! 触って学ぶTCP/IP 2015
http://www.atmarkit.co.jp/ait/articles/1507/31/news004.html
http://www.atmarkit.co.jp/ait/articles/1508/31/news016.html
http://www.atmarkit.co.jp/ait/articles/1508/31/news016_2.html
http://www.atmarkit.co.jp/ait/articles/1508/31/news016_3.html
http://www.atmarkit.co.jp/ait/articles/1608/10/news021.html
http://www.atmarkit.co.jp/ait/articles/1608/10/news021_2.html
●データの流れ(ネットワークエンジニアを目指して)
https://www.itbook.info/study/p42.html
Tuesday, November 6, 2018
HTTPとHTTPS
今なぜHTTPS化なのか?インターネットの信頼性のために、技術者が知っておきたいTLSの歴史と技術背景 2018
https://employment.en-japan.com/engineerhub/entry/2018/02/14/110000
超入門HTTPS:第2回 HTTPSの詳細 2017
http://www.atmarkit.co.jp/ait/articles/1704/13/news030.html
http://www.atmarkit.co.jp/ait/articles/1704/13/news030_2.html
SSLとは暗号化通信のこと。サーバー上のファイルは暗号化されない。
常時SSLとは、サイト全体をSSL化するということ。もしhttp://にアクセスが来たら、強制的にhttps://にリダイレクトしてしまう。そうすれば、Chromeで「保護されていません」という警告は出ない。
利点はhttp/2プロトコルが利用でき、Webページの表示が高速化される。
HTTPS化するためには
・SSLサーバ証明書を購入する。
・SSLサーバ証明書をサーバにインストールする。
・公開しているサイトのデータへの内部リンクのhttpをhttpsに置き換える。(相対パスにしてあれば必要ない)
・プラグインなどHTTPの記述があるコードをHTTPS対応コードに変更する。
・HTTPからHTTPSへのリダイレクトの設定をする。
・GoogleアナリティクスやSearch Consoleの再登録を行う。
・その他ズラズラ・・・。
HTTPから完全HTTPS化する方法の作業手順
https://www.nkshopping.biz/index.php?HTTP%E3%81%8B%E3%82%89%E5%AE%8C%E5%85%A8HTTPS%E5%8C%96%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95%E3%81%AE%E4%BD%9C%E6%A5%AD%E9%A0%85%E7%9B%AE
https://employment.en-japan.com/engineerhub/entry/2018/02/14/110000
超入門HTTPS:第2回 HTTPSの詳細 2017
http://www.atmarkit.co.jp/ait/articles/1704/13/news030.html
http://www.atmarkit.co.jp/ait/articles/1704/13/news030_2.html
SSLとは暗号化通信のこと。サーバー上のファイルは暗号化されない。
常時SSLとは、サイト全体をSSL化するということ。もしhttp://にアクセスが来たら、強制的にhttps://にリダイレクトしてしまう。そうすれば、Chromeで「保護されていません」という警告は出ない。
利点はhttp/2プロトコルが利用でき、Webページの表示が高速化される。
HTTPS化するためには
・SSLサーバ証明書を購入する。
・SSLサーバ証明書をサーバにインストールする。
・公開しているサイトのデータへの内部リンクのhttpをhttpsに置き換える。(相対パスにしてあれば必要ない)
・プラグインなどHTTPの記述があるコードをHTTPS対応コードに変更する。
・HTTPからHTTPSへのリダイレクトの設定をする。
・GoogleアナリティクスやSearch Consoleの再登録を行う。
・その他ズラズラ・・・。
HTTPから完全HTTPS化する方法の作業手順
https://www.nkshopping.biz/index.php?HTTP%E3%81%8B%E3%82%89%E5%AE%8C%E5%85%A8HTTPS%E5%8C%96%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95%E3%81%AE%E4%BD%9C%E6%A5%AD%E9%A0%85%E7%9B%AE
Wednesday, October 31, 2018
コネクション型通信とソケット通信
●総論
・初心者にもわかる【TCP/UDP】~違いや共通点、使い分け、ポート番号について~
https://milestone-of-se.nesuke.com/nw-basic/tcp-udp/tcp-udp-summary/
●コネクション型通信(ストリーム型通信)
・コネクション型とコネクションレス型通信
http://www.fc-lab.com/network/program/berkley/connection.html
コネクション型プロトコル:TCP/IPのうちTCP
●ソケット通信(TCP/IP通信)
・知ったかぶりをしていたソケット通信の基礎を改めて学んでみる
https://qiita.com/megadreams14/items/32a3eed4661e55419e1c
・Pythonでソケット通信を行う方法【初心者向け】
https://techacademy.jp/magazine/19147
プログラムの世界とTCP/IPの世界を結ぶ特別な出入口がソケット。
TCP/IP通信をソケット通信と呼ぶこともある。
クライアントプログラム
http://research.nii.ac.jp/~ichiro/syspro98/client.html
コネクション型通信:サーバプログラムの作成
http://research.nii.ac.jp/~ichiro/syspro98/server.html
●コネクションレス型通信(データグラム型通信)
コネクションレス型プロトコル:TCP/IPのうちIP.UDP
ブロードキャスト、IP電話、Web会議、チャット、動画ストリーミングで使用されている。
・一斉同報やストリーミングはUDPならではの通信方法
https://tech.nikkeibp.co.jp/it/article/COLUMN/20070713/277538/
・コネクションレス型ソケットの作成
https://www.ibm.com/support/knowledgecenter/ja/ssw_ibm_i_73/rzab6/connectionless.htm
・TCP/IP - UDP
https://www.infraexpert.com/study/tcpip12.html
●ネットワーク通信について
https://developer.apple.com/jp/documentation/NetworkingInternetWeb/Conceptual/NetworkingOverview/Introduction/Introduction.html
・初心者にもわかる【TCP/UDP】~違いや共通点、使い分け、ポート番号について~
https://milestone-of-se.nesuke.com/nw-basic/tcp-udp/tcp-udp-summary/
●コネクション型通信(ストリーム型通信)
・コネクション型とコネクションレス型通信
http://www.fc-lab.com/network/program/berkley/connection.html
コネクション型プロトコル:TCP/IPのうちTCP
●ソケット通信(TCP/IP通信)
・知ったかぶりをしていたソケット通信の基礎を改めて学んでみる
https://qiita.com/megadreams14/items/32a3eed4661e55419e1c
・Pythonでソケット通信を行う方法【初心者向け】
https://techacademy.jp/magazine/19147
プログラムの世界とTCP/IPの世界を結ぶ特別な出入口がソケット。
TCP/IP通信をソケット通信と呼ぶこともある。
クライアントプログラム
http://research.nii.ac.jp/~ichiro/syspro98/client.html
コネクション型通信:サーバプログラムの作成
http://research.nii.ac.jp/~ichiro/syspro98/server.html
●コネクションレス型通信(データグラム型通信)
コネクションレス型プロトコル:TCP/IPのうちIP.UDP
ブロードキャスト、IP電話、Web会議、チャット、動画ストリーミングで使用されている。
・一斉同報やストリーミングはUDPならではの通信方法
https://tech.nikkeibp.co.jp/it/article/COLUMN/20070713/277538/
・コネクションレス型ソケットの作成
https://www.ibm.com/support/knowledgecenter/ja/ssw_ibm_i_73/rzab6/connectionless.htm
・TCP/IP - UDP
https://www.infraexpert.com/study/tcpip12.html
●ネットワーク通信について
https://developer.apple.com/jp/documentation/NetworkingInternetWeb/Conceptual/NetworkingOverview/Introduction/Introduction.html
Tuesday, October 30, 2018
サーバー
ウェブの仕組み:
① クライアント側のブラウザにURLを入力すると、HTTPプロトコルでリクエストが送られる。
② Webサーバはリクエストを受け付けてリクエストされたURLのHTTPページを返す(レスポンス)。
③ クライアント側のブラウザは返ってきたHTTPページを表示する。
サーバーとは?:PCにウェブサイトを表示するためのサーバーソフトがインストールされているもの。
① ブラウザから、開きたいサイトのアドレス(http://~)を送ると、
② サーバの中に入っているWebサーバのソフトウェアが
a. パース:送られてきたリクエストを解釈する
b. データの取得:送られてきたURIを元に必要なデータを取りに行く
c. レスポンス文字列の作成
して、Webサイト表示に必要なデータをクライアントに送り返す。
③ クライアント側のブラウザに表示する。
サーバーとは
https://www.seohacks.net/basic/terms/server/
サーバって何?初心者でもわかる4つのサーバの種類 2018
https://www.marketingbank.jp/special/cat02/21.php
今更聞けない!Webサーバーの仕組みと構築方法 2016
https://eng-entrance.com/web-server-mechanism
機械系の学生へ向けたサーバー入門 2016
http://kengo700.hatenablog.com/entry/2016/02/25/%E6%A9%9F%E6%A2%B0%E7%B3%BB%E3%81%AE%E5%AD%A6%E7%94%9F%E3%81%B8%E5%90%91%E3%81%91%E3%81%9F%E3%82%B5%E3%83%BC%E3%83%90%E3%83%BC%E5%85%A5%E9%96%80
超絶初心者のためのサーバとクライアントの話 2016
https://qiita.com/shuntaro_tamura/items/ae55b99deb9e2a170754
【初心者向け簡単解説】サーバとは? 2017
https://eng-entrance.com/linux-server
① クライアント側のブラウザにURLを入力すると、HTTPプロトコルでリクエストが送られる。
② Webサーバはリクエストを受け付けてリクエストされたURLのHTTPページを返す(レスポンス)。
③ クライアント側のブラウザは返ってきたHTTPページを表示する。
サーバーとは?:PCにウェブサイトを表示するためのサーバーソフトがインストールされているもの。
① ブラウザから、開きたいサイトのアドレス(http://~)を送ると、
② サーバの中に入っているWebサーバのソフトウェアが
a. パース:送られてきたリクエストを解釈する
b. データの取得:送られてきたURIを元に必要なデータを取りに行く
c. レスポンス文字列の作成
して、Webサイト表示に必要なデータをクライアントに送り返す。
③ クライアント側のブラウザに表示する。
サーバーとは
https://www.seohacks.net/basic/terms/server/
サーバって何?初心者でもわかる4つのサーバの種類 2018
https://www.marketingbank.jp/special/cat02/21.php
今更聞けない!Webサーバーの仕組みと構築方法 2016
https://eng-entrance.com/web-server-mechanism
機械系の学生へ向けたサーバー入門 2016
http://kengo700.hatenablog.com/entry/2016/02/25/%E6%A9%9F%E6%A2%B0%E7%B3%BB%E3%81%AE%E5%AD%A6%E7%94%9F%E3%81%B8%E5%90%91%E3%81%91%E3%81%9F%E3%82%B5%E3%83%BC%E3%83%90%E3%83%BC%E5%85%A5%E9%96%80
超絶初心者のためのサーバとクライアントの話 2016
https://qiita.com/shuntaro_tamura/items/ae55b99deb9e2a170754
【初心者向け簡単解説】サーバとは? 2017
https://eng-entrance.com/linux-server
NOAAのScience On a Sphere
https://sos.noaa.gov/What_is_SOS/
-
FTPサーバ
- ・・・・ ・大気
- オーロラ、カリスト、セレス、シャロン、ディオン、月、日食、エンケラドゥス、エウロパ、ガニメデ、ハッブル、ヤペタス、イオ、木星、ケプラー、Iro、月食、火星、水星、天の川、ミマス、海王星、Phoebe、天王星、Rhes、土星、SOHO、太陽系、テシス、タイタン、Trappist、ウラヌス、金星、WMAP、X線太陽 ・データベース
- 一酸化炭素、ハリケーン、エアロゾル、交通、衛星、Aqua、炭素フラックス、FIM、化石燃料、福島、静止衛星、Harvey、Iruma、Isaac、ISS起動、陸の気温、雷、ITG Vaisala、二酸化窒素、NASA衛星、NCCSモデル、NOAA衛星、Pclim、POES衛星、再解析、Sandy、太陽同期衛星、気温偏差、熱帯Widening、台風Haiyan、火山灰、水蒸気 ・Extras
- ・・・・ ・2016年1月の嵐
- ・・・・ ・陸域
- 農業、鳥、Blue Marble、Dams、昼と夜、地震、時期、ETOPO1、2、火災、洪水、食料、森林、地磁気移動、植生、GRACE、灰色の地球、Hot Topo、IRSAT夜の明かり、東日本大震災、Koppen Climate、陸面被覆、土地の生産高、緯度経度、磁気傾斜、夜空、原発と地震、Pantropicalバイオマス、プレート運動、川の洪水、海底の年齢、地震波、地表の温度、Top Quakes、火山噴火 ・Live program
- ・・・・ ・モデル
- ・・・・ ・海洋
- 海氷、海面上昇、ウミガメの追跡、ISS、動物の追跡、Argoブイ、Atl Turtle、ブイの位置、Catch Model、クロロフィル、Dartブイ、漂流ブイ、ECCO2海面水温、エルニーニョ、GFDLの海面水温、グリーンランドの融解、インド洋津波、東日本大震災の津波、Mexico Turtle、MJO、MODISの海面水温、NASAのSpeedとSST、海洋酸性化、海洋深層循環、Ocean Drain、油流出、Pac Turtle、植物プランクトン、PR津波、サンゴ礁のリスク、海水順、海面高度、海氷の放射、SeaWiFS、サメ、船の航跡、輸出入、生物多様性、SSS、津波の歴史、風ベクトル、Vent Discoveriesアニメ、渦度、波浪 ・プレイリスト
- ・・・・ ・RT
- ・・・・ ・Temporary
- ・・・・
ftp://public.sos.noaa.gov/
・天文
Monday, October 29, 2018
ダジック・アース
四次元デジタル地球儀
https://www.dagik.net/
ウェブブラウザ版
http://dagik.org/dow/
https://www.dagik.net/
ウェブブラウザ版
http://dagik.org/dow/
-
気象・海洋
- 雲の動き(春、梅雨、夏、冬)、台風(日本、南半球)、大雨、ひまわり、気温、風速、オゾン、夜光雲、エルニーニョ・ラニーニャ、海水塩分、しずく(積雪深、海氷密接度・海面水温) 地殻・地球内部
- 森林、土壌水分、積雪、行程、ジオイド・重力異常、プイレート境界、大陸移動、地磁気異常、地震、地震はトモグラフィ、街灯り、昼と夜、太陽の動き、日食、GNSS衛星の動き、SLR衛星の動き 地球・月・惑星
- 地球、月、水星、金星、火星、木星、土星、天王星、海王星、冥王星、星の配置・星座 ジオ・スペース
- オーロラ、大気光、地震と電離層、磁場、太陽 その他
- 日本最古の地球儀、ボール、資源
Web API
Web API: API提供者とAPI利用者とのやりとりをHTTP/HTTPSベースで実現するAPIのこと。ネットワーク越しに利用できる関数。URLが関数名、引数を渡すことで結果が変化する。
外部プログラム=ブラウザ(JavaScript)やネイティブアプリなどからのHTTP通信によるアクセスでは、サーバー上のデータに直接アクセスできない。Web APIは外部プログラムとサーバーとの間を仲介するが、Web APIが提供する機能を利用すること以外はできない。
Web APIはHTTPプロトコルによるリクエストとレスポンスでやりとりする。
① サーバ側ではリソースごとにエンドポイントがURLで割り当てられている。
②
・Web API入門 第1回 APIの概要とデータの取得(第2回以降は要購読)
https://app.codegrid.net/entry/2018-web-api-1
Web APIはhtmlで書かれていて、アクセス先(リソース)毎のURI(エンドポイント)が書かれている。
・Web APIとは何なのか 2017
https://qiita.com/NagaokaKenichi/items/df4c8455ab527aeacf02
・APIとは何か? Web APIとの違い、利用者のタスクを解説 (1/2) 2018(続きは要会員登録。有料)
http://techtarget.itmedia.co.jp/tt/news/1806/13/news01.html
・5分で分かるWebAPI 2015
https://developer.ntt.com/ja/blog/5%E5%88%86%E3%81%A7%E5%88%86%E3%81%8B%E3%82%8BWebAPI
・第1回 APIの概要とデータの取得(続きは要会員登録)2018
https://app.codegrid.net/entry/2018-web-api-1
・APIとは? 2016
https://qiita.com/jonathanh/items/6394ffb5b5ad86ae914f
・Web API入門 2015(SlideShare)
https://www.slideshare.net/tmasao/web-api-49080729
・5分で絶対に分かるAPI設計の考え方とポイント(続きは要会員登録。無料)
http://www.atmarkit.co.jp/ait/articles/1511/19/news022.html
Web APIの代表的な実装方式として、REST(REpresentational State Transfer)とSOAPが存在するが、APIといえばRESTというぐらいにRESTが主流。
レスポンスはかつてXMLだったがJSONがよい。
・WebAPIについての説明 2018
https://qiita.com/busyoumono99/items/9b5ffd35dd521bafce47
関数がURLになっていて、http://関数のURL/search?キーKey=引数Value
をブラウザ上で実行すると、JSON又はXMLで答えが返ってくる。
・HTMLでWeb APIをつくる 2014
https://qiita.com/tkawa/items/0efd49ad07d39531a520
・【徹底解説】Web APIの使い方まとめ 2017
https://itpropartners.com/blog/8546/
●認証付きWeb API
・認証を含む API 開発で検討すべきこと
・Web API認証について
http://blog.virtual-tech.net/2014/01/web-api.html
基本、認証は送信先URLが分かるようにブラウザで行うべき
・APIのセキュリティ対策をガートナーが解説、具体的に押さえるべき3つのポイントとは 2018(続きは要会員登録。無料)
https://www.sbbit.jp/article/cont1/35205
・Web APIアクセス制御の最適解 2016(Slide Share)
https://www.slideshare.net/daisuke_m/spring-day-2016-web-api
●Web APIの脆弱性
第6回 WebAPI,認証APIのセキュリティ 2007 http://gihyo.jp/dev/serial/01/web20sec/0006
Web APIを活用した農業環境データベースシステムの横断利用
本ブログ内:https://earthsimulation.blogspot.com/2018/08/blog-post_28.html
生物分野におけるWeb APIの Web APIの適用
https://www.jstage.jst.go.jp/article/jsik/19/2/19_19-86/_pdf
外部プログラム=ブラウザ(JavaScript)やネイティブアプリなどからのHTTP通信によるアクセスでは、サーバー上のデータに直接アクセスできない。Web APIは外部プログラムとサーバーとの間を仲介するが、Web APIが提供する機能を利用すること以外はできない。
Web APIはHTTPプロトコルによるリクエストとレスポンスでやりとりする。
① サーバ側ではリソースごとにエンドポイントがURLで割り当てられている。
②
・Web API入門 第1回 APIの概要とデータの取得(第2回以降は要購読)
https://app.codegrid.net/entry/2018-web-api-1
Web APIはhtmlで書かれていて、アクセス先(リソース)毎のURI(エンドポイント)が書かれている。
・Web APIとは何なのか 2017
https://qiita.com/NagaokaKenichi/items/df4c8455ab527aeacf02
・APIとは何か? Web APIとの違い、利用者のタスクを解説 (1/2) 2018(続きは要会員登録。有料)
http://techtarget.itmedia.co.jp/tt/news/1806/13/news01.html
・5分で分かるWebAPI 2015
https://developer.ntt.com/ja/blog/5%E5%88%86%E3%81%A7%E5%88%86%E3%81%8B%E3%82%8BWebAPI
・第1回 APIの概要とデータの取得(続きは要会員登録)2018
https://app.codegrid.net/entry/2018-web-api-1
・APIとは? 2016
https://qiita.com/jonathanh/items/6394ffb5b5ad86ae914f
・Web API入門 2015(SlideShare)
https://www.slideshare.net/tmasao/web-api-49080729
・5分で絶対に分かるAPI設計の考え方とポイント(続きは要会員登録。無料)
http://www.atmarkit.co.jp/ait/articles/1511/19/news022.html
Web APIの代表的な実装方式として、REST(REpresentational State Transfer)とSOAPが存在するが、APIといえばRESTというぐらいにRESTが主流。
レスポンスはかつてXMLだったがJSONがよい。
・WebAPIについての説明 2018
https://qiita.com/busyoumono99/items/9b5ffd35dd521bafce47
関数がURLになっていて、http://関数のURL/search?キーKey=引数Value
をブラウザ上で実行すると、JSON又はXMLで答えが返ってくる。
・HTMLでWeb APIをつくる 2014
https://qiita.com/tkawa/items/0efd49ad07d39531a520
・【徹底解説】Web APIの使い方まとめ 2017
https://itpropartners.com/blog/8546/
●認証付きWeb API
・認証を含む API 開発で検討すべきこと
・Web API認証について
http://blog.virtual-tech.net/2014/01/web-api.html
基本、認証は送信先URLが分かるようにブラウザで行うべき
・APIのセキュリティ対策をガートナーが解説、具体的に押さえるべき3つのポイントとは 2018(続きは要会員登録。無料)
https://www.sbbit.jp/article/cont1/35205
・Web APIアクセス制御の最適解 2016(Slide Share)
https://www.slideshare.net/daisuke_m/spring-day-2016-web-api
●Web APIの脆弱性
第6回 WebAPI,認証APIのセキュリティ 2007 http://gihyo.jp/dev/serial/01/web20sec/0006
Web APIを活用した農業環境データベースシステムの横断利用
本ブログ内:https://earthsimulation.blogspot.com/2018/08/blog-post_28.html
生物分野におけるWeb APIの Web APIの適用
https://www.jstage.jst.go.jp/article/jsik/19/2/19_19-86/_pdf
Amazon S3 REST API
Amazon S3(Simple Strage Service)とはバックアップ/静的コンテンツ向けストレージ。月額:約4円($0.033)/GBだが大きな堅牢性。容量制限なし。ただし1ファイル:1TBまで。
AWS再入門 Amazon S3編
https://dev.classmethod.jp/cloud/aws/cm-advent-calendar-2015-aws-re-entering-s3/
UKのJASMINはAWS S3とOPeNDAPを用意している。
AWS S3のアクセス管理
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/s3-access-control.html
AWS再入門 Amazon S3編
https://dev.classmethod.jp/cloud/aws/cm-advent-calendar-2015-aws-re-entering-s3/
UKのJASMINはAWS S3とOPeNDAPを用意している。
AWS S3のアクセス管理
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/s3-access-control.html
Thursday, October 25, 2018
JASMIN
NERCが設立した環境データのmulti-petabyte data analysis facility
CEDA data center(NERCの執行機関)に置かれている。
http://www.jasmin.ac.uk/
JASMIN and the adoption of cloud-native architecture for managing data and compute at scale (2017)
https://www.ecmwf.int/sites/default/files/elibrary/2017/17148-jasmin-and-adoption-cloud-native-architecture-managing-data-and-compute-scale.pdf
JASMIN and the role of Cloud Computing in realising a Big Data facility for the Environmental Sciences (2017)
https://presentations.copernicus.org/EMS2017-332_presentation.pdf
The JASMIN Cloud (2014)
https://presentations.copernicus.org/EGU2014-10820_presentation.pdf
Storing and manipulating environmental big datawith JASMIN (2013, ResearchGate)
https://www.researchgate.net/publication/260979040_Storing_and_manipulating_environmental_big_data_with_JASMIN
Copernicus
Centre for Environmental Data Archival (CEDA)
http://www.ceda.ac.uk/
CLIPC (Climate Information Platform for Copernicus)
http://www.ceda.ac.uk/projects/clipc/
http://www.clipc.eu/
CEDA data center(NERCの執行機関)に置かれている。
http://www.jasmin.ac.uk/
JASMIN and the adoption of cloud-native architecture for managing data and compute at scale (2017)
https://www.ecmwf.int/sites/default/files/elibrary/2017/17148-jasmin-and-adoption-cloud-native-architecture-managing-data-and-compute-scale.pdf
JASMIN and the role of Cloud Computing in realising a Big Data facility for the Environmental Sciences (2017)
https://presentations.copernicus.org/EMS2017-332_presentation.pdf
The JASMIN Cloud (2014)
https://presentations.copernicus.org/EGU2014-10820_presentation.pdf
Storing and manipulating environmental big datawith JASMIN (2013, ResearchGate)
https://www.researchgate.net/publication/260979040_Storing_and_manipulating_environmental_big_data_with_JASMIN
Copernicus
Centre for Environmental Data Archival (CEDA)
http://www.ceda.ac.uk/
CLIPC (Climate Information Platform for Copernicus)
http://www.ceda.ac.uk/projects/clipc/
http://www.clipc.eu/
Thursday, October 11, 2018
ECMWFのTOS
Users accessing or using the ECMWF computing services do so under the terms and conditions detailed on this page.
Conditions of access to the ECMWF computing services
In accessing or using ECMWF computing services users agree that they will;
- use their access solely in accordance with Article 2(2)(e) of the ECMWF Convention:
“The objectives of the Centre shall be: …
e) to make available to the Member States for their research, priority being given to the field of numerical weather forecasting, a sufficient proportion of its computing capacity, such proportion being determined by the Council;”
- use their access in accordance with Annex A.3 of the Centre's Computer Security Policy, as laid down in ECMWF Computer Bulletin B0.2/3 which states;
"Annex 3 Passwords and smart cards [tokens]
> Passwords and smart cards protect the Centre's computer systems against unauthorised access. Smart cards are personal access tokens and, like user identifiers, are issued to users for their sole use. The underlying authentication process is based on the physical possession of these cards; hence smart cards must be kept securely (similar to credit cards).
> Login passwords and the PINs of smart cards must be kept confidential and must not be disclosed to other persons
> All users shall:
* employ non-trivial passwords and PINs; ....
* safeguard smart cards issued to them against physical access by other persons;
* change passwords or PINs whenever there is any indication that the passwords or PINs have been compromised;
* report lost or stolen smart cards without delay. Member State users should report lost or stolen cards to ..... the Call Desk at ECMWF"
- use their access only for the purpose for which access to the ECMWF computing services has been granted;
- use the user identifier and/or security token for their own sole use and will not make it available to another person under any circumstances;
- return any token they might have been given to the appropriate Member or Co-operating State Computing Representative when access to the token-protected computing services at ECMWF is no longer required.
In addition to above agreement users understand that their token will be enabled only when the token declaration has been signed and returned to the appropriate Member or Co-operating State Computing Representative or, for ECMWF personnel ONLY, to the relevant member of staff at ECMWF. Any token received remains the property of ECMWF and may be revoked at any time.
Conditions of access to the ECMWF computing services
In accessing or using ECMWF computing services users agree that they will;
- use their access solely in accordance with Article 2(2)(e) of the ECMWF Convention:
“The objectives of the Centre shall be: …
e) to make available to the Member States for their research, priority being given to the field of numerical weather forecasting, a sufficient proportion of its computing capacity, such proportion being determined by the Council;”
- use their access in accordance with Annex A.3 of the Centre's Computer Security Policy, as laid down in ECMWF Computer Bulletin B0.2/3 which states;
"Annex 3 Passwords and smart cards [tokens]
> Passwords and smart cards protect the Centre's computer systems against unauthorised access. Smart cards are personal access tokens and, like user identifiers, are issued to users for their sole use. The underlying authentication process is based on the physical possession of these cards; hence smart cards must be kept securely (similar to credit cards).
> Login passwords and the PINs of smart cards must be kept confidential and must not be disclosed to other persons
> All users shall:
* employ non-trivial passwords and PINs; ....
* safeguard smart cards issued to them against physical access by other persons;
* change passwords or PINs whenever there is any indication that the passwords or PINs have been compromised;
* report lost or stolen smart cards without delay. Member State users should report lost or stolen cards to ..... the Call Desk at ECMWF"
- use their access only for the purpose for which access to the ECMWF computing services has been granted;
- use the user identifier and/or security token for their own sole use and will not make it available to another person under any circumstances;
- return any token they might have been given to the appropriate Member or Co-operating State Computing Representative when access to the token-protected computing services at ECMWF is no longer required.
In addition to above agreement users understand that their token will be enabled only when the token declaration has been signed and returned to the appropriate Member or Co-operating State Computing Representative or, for ECMWF personnel ONLY, to the relevant member of staff at ECMWF. Any token received remains the property of ECMWF and may be revoked at any time.
Monday, October 8, 2018
ユーザ認証API、ソーシャルログイン
●ユーザー認証API
モバイルアプリのユーザ認証方法についてまとめてみた 2018-10-08
https://qiita.com/ledmonster/items/0ee1e757af231aa927b1
Web API認証について 2014年1月14日
http://blog.virtual-tech.net/2014/01/web-api.html
ここが危ない!Web2.0のセキュリティ 2007年9月5日
http://gihyo.jp/dev/serial/01/web20sec/0006
2段階認証:ID/PWのほか、いつもと違うデバイスからアクセスした場合に別の入力を求める。
「認証」の基礎知識(7):ワンタイムパスワードの方式 2017
https://www.segunabe.com/2017/05/16/auth_info07/
「HTTP」の仕組みをおさらいしよう(1/4)-認証とは?
http://www.atmarkit.co.jp/ait/articles/1608/10/news021.html
http://www.atmarkit.co.jp/ait/articles/1608/10/news021.html
① ブラウザにURLを入力すると、WebサーバにHTTPリクエストが送られる。そこに認証が設定されていると、サーバが要求する認証の種類をクライアントに通知する。
② ブラウザは認証ダイアログを表示する。
③ ブラウザは入力されたID/PWから認証情報を生成し、WebサーバにHTTPリクエストを送る。
④ ID/PWが正しければ、Webサーバはリクエスト内容を返すので、ブラウザはその内容を表示する。
HTTPで利用できる認証スキーム;Basic認証(IDとPWを繋いでBase64変換する)とダイジェスト認証(PWを送らない)がある。
●ソーシャルログイン
Google sign in:https://developers.google.com/identity/
Facebook sign in: https://developers.facebook.com/docs/facebook-login/multiple-providers/
Amazon、Twitter、Yahoo:独自
LinkedIn、Instagram:FB sign up
ACADEMIA:Google sign up、FB sign up
ResearchGate:LinkedIn、FB sign up
Pinterest:Google sign up、FB sign up
YouTube:Google sign up
Skype:Microsoft sign up
Facebookによるソーシャルログインの問題点
https://japanese.engadget.com/2018/04/20/facebook/
ソーシャルログイン導入サービス
https://socialplus.jp/tour/
Facebook, Line, Google+, Twitter, Yahoo, 楽天など
●ORCIDによるサインイン(ソーシャルサインインに似ている)
https://members.orcid.org/api/integrate/orcid-sign-in
モバイルアプリのユーザ認証方法についてまとめてみた 2018-10-08
https://qiita.com/ledmonster/items/0ee1e757af231aa927b1
Web API認証について 2014年1月14日
http://blog.virtual-tech.net/2014/01/web-api.html
ここが危ない!Web2.0のセキュリティ 2007年9月5日
http://gihyo.jp/dev/serial/01/web20sec/0006
2段階認証:ID/PWのほか、いつもと違うデバイスからアクセスした場合に別の入力を求める。
「認証」の基礎知識(7):ワンタイムパスワードの方式 2017
https://www.segunabe.com/2017/05/16/auth_info07/
「HTTP」の仕組みをおさらいしよう(1/4)-認証とは?
http://www.atmarkit.co.jp/ait/articles/1608/10/news021.html
http://www.atmarkit.co.jp/ait/articles/1608/10/news021.html
① ブラウザにURLを入力すると、WebサーバにHTTPリクエストが送られる。そこに認証が設定されていると、サーバが要求する認証の種類をクライアントに通知する。
② ブラウザは認証ダイアログを表示する。
③ ブラウザは入力されたID/PWから認証情報を生成し、WebサーバにHTTPリクエストを送る。
④ ID/PWが正しければ、Webサーバはリクエスト内容を返すので、ブラウザはその内容を表示する。
HTTPで利用できる認証スキーム;Basic認証(IDとPWを繋いでBase64変換する)とダイジェスト認証(PWを送らない)がある。
●ソーシャルログイン
Google sign in:https://developers.google.com/identity/
Facebook sign in: https://developers.facebook.com/docs/facebook-login/multiple-providers/
Amazon、Twitter、Yahoo:独自
LinkedIn、Instagram:FB sign up
ACADEMIA:Google sign up、FB sign up
ResearchGate:LinkedIn、FB sign up
Pinterest:Google sign up、FB sign up
YouTube:Google sign up
Skype:Microsoft sign up
Facebookによるソーシャルログインの問題点
https://japanese.engadget.com/2018/04/20/facebook/
ソーシャルログイン導入サービス
https://socialplus.jp/tour/
Facebook, Line, Google+, Twitter, Yahoo, 楽天など
●ORCIDによるサインイン(ソーシャルサインインに似ている)
https://members.orcid.org/api/integrate/orcid-sign-in
Thursday, October 4, 2018
静的ウェブサーバと動的ウェブサーバ
静的ウェブサーバ:HTMLとCSSとJSファイルだけを元に表示されるウェブサーバ。
動的ウェブサーバ:リアルタイムでデータベースにアクセスしてウェブサイトを組み立てるウェブサーバ。
●静的サイト
静的コンテンツとWebアプリケーションの配置を切り分ける
http://itdoc.hitachi.co.jp/manuals/link/cosmi_v0870/APSE/EU030209.HTM
脱WordPress!静的サイトの特徴やメリットなどのまとめ
https://webdesign-trends.net/entry/2076
静的サイトと動的サイトの違いは何?いまさら聞けないIT用語 2018
https://seotaisaku.co/glossary-news/what-difference-of-static-sites-and-dynamic-sites-too-late-it-terms-not-hear
セキュリティに強い静的配信型CMS
https://www.frameworks.co.jp/static-site-generator-cms.html
静的サイトが今、再注目されています!!
https://zeroichi.biz/news/static-site-revival/
一番攻撃されやすいコードレイヤーとスクリプトエンジンレイヤーがそもそもない。その次に攻撃されやすいところはサービスレイヤーだが、静的サイトはFTPを使わないサービスもあるので、さらにセキュリティが強化される。
●動的サイト
・以下の言語や環境はセキュリティホールになりうる。
Parl(cgi)、PHP、ASP、ASP.NET、Java、JavaScriptなど
・以下のCMS(Contents Management System)もセキュリティホールになりうる。
XOOPS、WordPress、PikiWiki、OpenPNE、Moodleほか
(HTMLやCSSは静的サイト)
WWWの基本技術・静的コンテンツと動的コンテンツ
http://juen-cs.dl.juen.ac.jp/html/www/005/
●静的サイトのアクセス制御
S3の静的ホスティングで内部確認用に使える認証を設定する 2014
https://www.monster-dive.com/blog/server_network/20140404_000145.php
AWSを使ってみよう!(その18) - WEBサイト(S3)にアクセス制限 2017
https://www.pressmantech.com/tech/aws/4122
静的コンテンツのトークンベースのアクセス制御 2014
https://qiita.com/kawasima/items/f9ecf20e8d8ac7f126e9
認証を含む API 開発で検討すべきこと 2015
https://www.bokukoko.info/entry/2015/12/20/%E8%AA%8D%E8%A8%BC%E3%82%92%E5%90%AB%E3%82%80_API_%E9%96%8B%E7%99%BA%E3%81%A7%E6%A4%9C%E8%A8%8E%E3%81%99%E3%81%B9%E3%81%8D%E3%81%93%E3%81%A8
●セマンティック・ウェブ
本ブログ内:https://earthsimulation.blogspot.com/2018/07/blog-post_31.html
●LOD
本ブログ内:https://earthsimulation.blogspot.com/2018/10/lodsparql.html
動的ウェブサーバ:リアルタイムでデータベースにアクセスしてウェブサイトを組み立てるウェブサーバ。
●静的サイト
静的コンテンツとWebアプリケーションの配置を切り分ける
http://itdoc.hitachi.co.jp/manuals/link/cosmi_v0870/APSE/EU030209.HTM
脱WordPress!静的サイトの特徴やメリットなどのまとめ
https://webdesign-trends.net/entry/2076
静的サイトと動的サイトの違いは何?いまさら聞けないIT用語 2018
https://seotaisaku.co/glossary-news/what-difference-of-static-sites-and-dynamic-sites-too-late-it-terms-not-hear
セキュリティに強い静的配信型CMS
https://www.frameworks.co.jp/static-site-generator-cms.html
静的サイトが今、再注目されています!!
https://zeroichi.biz/news/static-site-revival/
一番攻撃されやすいコードレイヤーとスクリプトエンジンレイヤーがそもそもない。その次に攻撃されやすいところはサービスレイヤーだが、静的サイトはFTPを使わないサービスもあるので、さらにセキュリティが強化される。
●動的サイト
・以下の言語や環境はセキュリティホールになりうる。
Parl(cgi)、PHP、ASP、ASP.NET、Java、JavaScriptなど
・以下のCMS(Contents Management System)もセキュリティホールになりうる。
XOOPS、WordPress、PikiWiki、OpenPNE、Moodleほか
(HTMLやCSSは静的サイト)
WWWの基本技術・静的コンテンツと動的コンテンツ
http://juen-cs.dl.juen.ac.jp/html/www/005/
●静的サイトのアクセス制御
S3の静的ホスティングで内部確認用に使える認証を設定する 2014
https://www.monster-dive.com/blog/server_network/20140404_000145.php
AWSを使ってみよう!(その18) - WEBサイト(S3)にアクセス制限 2017
https://www.pressmantech.com/tech/aws/4122
静的コンテンツのトークンベースのアクセス制御 2014
https://qiita.com/kawasima/items/f9ecf20e8d8ac7f126e9
認証を含む API 開発で検討すべきこと 2015
https://www.bokukoko.info/entry/2015/12/20/%E8%AA%8D%E8%A8%BC%E3%82%92%E5%90%AB%E3%82%80_API_%E9%96%8B%E7%99%BA%E3%81%A7%E6%A4%9C%E8%A8%8E%E3%81%99%E3%81%B9%E3%81%8D%E3%81%93%E3%81%A8
●セマンティック・ウェブ
本ブログ内:https://earthsimulation.blogspot.com/2018/07/blog-post_31.html
●LOD
本ブログ内:https://earthsimulation.blogspot.com/2018/10/lodsparql.html
LODとクエリ言語SPARQL
RDF用クエリ言語SPARQL W3C勧告 2008年1月15日
http://www.asahi-net.or.jp/~ax2s-kmtn/internet/rdf/rdf-sparql-query.html
LODとSPARQL入門
https://midoriit.com/2014/03/lod%E3%81%A8sparql%E5%85%A5%E9%96%801.html
https://midoriit.com/2014/03/lod%E3%81%A8sparql%E5%85%A5%E9%96%802.html
https://midoriit.com/2014/06/lod%E3%81%A8sparql%E5%85%A5%E9%96%803.html
https://midoriit.com/2014/09/lod%E3%81%A8sparql%E5%85%A5%E9%96%804.html
Linked Open Data(LOD)の基本理念と基盤となる技術 2017年6月18日
https://www.slideshare.net/KoujiKozaki/linked-open-datalod-77040726
Linked Open Data(LOD)を使うと“うれしい”3つの理由 2017年12月19日(火)
https://www.slideshare.net/KoujiKozaki/linked-open-datalod-84480642
SPARQLとMashup環境 2014年
https://www.slideshare.net/KohichiToshioka/sparqlmashup2014-09-13
Webの全てをデータベースにするLinked Open Data(LOD)とクエリ言語SPARQLの基礎 2014年08月12日
http://www.atmarkit.co.jp/ait/articles/1408/12/news006.html
http://www.atmarkit.co.jp/ait/articles/1408/12/news006_2.html
http://www.atmarkit.co.jp/ait/articles/1408/12/news006_3.html
e-Stat 統計LOD
SPARQL APIの概要:http://data.e-stat.go.jp/lodw/sparqlendpoint/api
SPARQL Queryのサンプル:http://data.e-stat.go.jp/lodw/sparqlendpoint/querysample
DBpedia
http://ja.dbpedia.org/
ウィキペディア
Wikidata
https://www.wikidata.org/wiki/Wikidata:Introduction/ja
ウィキペディア
http://www.asahi-net.or.jp/~ax2s-kmtn/internet/rdf/rdf-sparql-query.html
LODとSPARQL入門
https://midoriit.com/2014/03/lod%E3%81%A8sparql%E5%85%A5%E9%96%801.html
https://midoriit.com/2014/03/lod%E3%81%A8sparql%E5%85%A5%E9%96%802.html
https://midoriit.com/2014/06/lod%E3%81%A8sparql%E5%85%A5%E9%96%803.html
https://midoriit.com/2014/09/lod%E3%81%A8sparql%E5%85%A5%E9%96%804.html
Linked Open Data(LOD)の基本理念と基盤となる技術 2017年6月18日
https://www.slideshare.net/KoujiKozaki/linked-open-datalod-77040726
Linked Open Data(LOD)を使うと“うれしい”3つの理由 2017年12月19日(火)
https://www.slideshare.net/KoujiKozaki/linked-open-datalod-84480642
SPARQLとMashup環境 2014年
https://www.slideshare.net/KohichiToshioka/sparqlmashup2014-09-13
Webの全てをデータベースにするLinked Open Data(LOD)とクエリ言語SPARQLの基礎 2014年08月12日
http://www.atmarkit.co.jp/ait/articles/1408/12/news006.html
http://www.atmarkit.co.jp/ait/articles/1408/12/news006_2.html
http://www.atmarkit.co.jp/ait/articles/1408/12/news006_3.html
e-Stat 統計LOD
SPARQL APIの概要:http://data.e-stat.go.jp/lodw/sparqlendpoint/api
SPARQL Queryのサンプル:http://data.e-stat.go.jp/lodw/sparqlendpoint/querysample
DBpedia
http://ja.dbpedia.org/
ウィキペディア
Wikidata
https://www.wikidata.org/wiki/Wikidata:Introduction/ja
ウィキペディア
ブルーオーシャン戦略
ベンチャーキャピタリスト高宮慎一が語る、ブルー・オーシャンの3パターン
https://news.finance.yahoo.co.jp/detail/20181003-00181076-diamond-column
まっさらな更地に、市場そのものを創っていくパターン
・新規技術など完全にゼロからユーザーや市場創りから始めなければならないケース
・リアルな世界の習慣、前の時代の習慣を、現代のものに置き換えるパターン
・そもそも市場がしっかりとある中で、市場を再定義して、新たにつくっていくもの
https://news.finance.yahoo.co.jp/detail/20181003-00181076-diamond-column
まっさらな更地に、市場そのものを創っていくパターン
・新規技術など完全にゼロからユーザーや市場創りから始めなければならないケース
・リアルな世界の習慣、前の時代の習慣を、現代のものに置き換えるパターン
・そもそも市場がしっかりとある中で、市場を再定義して、新たにつくっていくもの
Monday, October 1, 2018
Joint Typhoon Warning Center(米海軍)
http://www.metoc.navy.mil/jtwc/jtwc.html
右の”TC Warning Graphic”をクリックすると進路予想図が出る。
右の”TC Warning Graphic”をクリックすると進路予想図が出る。
Monday, September 24, 2018
Pythonスクリプトのセキュリティ対策
●Pythonのセキュリティ
Pythonに咬まれるな : 注意すべきセキュリティリスクのリスト
https://postd.cc/a-bite-of-python/
https://blog.ohgaki.net/learning-security-from-python-2-7-14-release
●ウェブサイトのセキュリティ
みんなのPython Webアプリ編 - セキュリティホールへの対処
https://coreblog.org/ats/stuff/minpy_web/15/02.html
セキュリティ対策の程度について
https://teratail.com/questions/35611
IPA安全なウェブサイトの作り方
https://www.ipa.go.jp/security/vuln/websecurity.html
体系的に学ぶ 安全なWebアプリケーションの作り方 脆弱性が生まれる原理と対策の実践
https://www.amazon.co.jp/dp/B00E5TJ120/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1
●OPeNDAPのセキュリティ
考えておこう! OpenLDAPのセキュリティ設定 (1/3)
http://www.atmarkit.co.jp/ait/articles/0901/21/news123.html
http://www.atmarkit.co.jp/ait/articles/0901/21/news123_2.html
http://www.atmarkit.co.jp/ait/articles/0901/21/news123_3.html
セキュリティの考慮
http://www5f.biglobe.ne.jp/~inachi/openldap/admin22/security-ja.html
Network Server Security
https://docs.opendap.org/index.php/NetworkServerSecurity
Pythonに咬まれるな : 注意すべきセキュリティリスクのリスト
https://postd.cc/a-bite-of-python/
- ビルトイン関数input:標準入力から読み込んだものが即座にPythonコードとして評価されてしまう。
- assert文
- is演算子
https://blog.ohgaki.net/learning-security-from-python-2-7-14-release
●ウェブサイトのセキュリティ
みんなのPython Webアプリ編 - セキュリティホールへの対処
https://coreblog.org/ats/stuff/minpy_web/15/02.html
- クロスサイトスクリプティング(XSS)
- SQLインジェクション
- クエリに関連するセキュリティホール
セキュリティ対策の程度について
https://teratail.com/questions/35611
IPA安全なウェブサイトの作り方
https://www.ipa.go.jp/security/vuln/websecurity.html
体系的に学ぶ 安全なWebアプリケーションの作り方 脆弱性が生まれる原理と対策の実践
https://www.amazon.co.jp/dp/B00E5TJ120/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1
●OPeNDAPのセキュリティ
Network Server Security
https://docs.opendap.org/index.php/NetworkServerSecurity
Wednesday, September 19, 2018
水産分野の観測データ収集
●定線観測・定点観測
FraUploader: 地方自治体水産試験研究機関定線データ転送システム
FRADATAINPUT: 汎用型現場観測データ転送システム
FRADATASYS: 定線データ取得システム
入札公告:https://www.fra.affrc.go.jp/keiyaku/27/file/cCodw5kWaN-0.pdf
https://www.fra.affrc.go.jp/keiyaku/28/file/HrlVVKzLo4-0.pdf
「海況情報収集迅速化システム開発試験」
http://jsnfri.fra.affrc.go.jp/pref/aomori/suisi/gaiyou/h8/pdf/155-164.pdf
●定点モニタリング(自動観測ブイ)
リアルタイム海洋情報収集解析システム
http://buoy.nrifs.affrc.go.jp/
観測ブイ一覧
http://buoy.nrifs.affrc.go.jp/doc/aboutbuoy.php
●GTSPP
●ARGO
●VMS(船舶監視システム)
https://en.wikipedia.org/wiki/Vessel_monitoring_system
FraUploader: 地方自治体水産試験研究機関定線データ転送システム
FRADATAINPUT: 汎用型現場観測データ転送システム
FRADATASYS: 定線データ取得システム
入札公告:https://www.fra.affrc.go.jp/keiyaku/27/file/cCodw5kWaN-0.pdf
https://www.fra.affrc.go.jp/keiyaku/28/file/HrlVVKzLo4-0.pdf
「海況情報収集迅速化システム開発試験」
http://jsnfri.fra.affrc.go.jp/pref/aomori/suisi/gaiyou/h8/pdf/155-164.pdf
●定点モニタリング(自動観測ブイ)
リアルタイム海洋情報収集解析システム
http://buoy.nrifs.affrc.go.jp/
観測ブイ一覧
http://buoy.nrifs.affrc.go.jp/doc/aboutbuoy.php
●GTSPP
●ARGO
●VMS(船舶監視システム)
https://en.wikipedia.org/wiki/Vessel_monitoring_system
観測衛星のまとめ
●クロロフィルa/海色計
本ブログ内:http://earthsimulation.blogspot.com/2018/09/a.html
●海面水温
・AMSRシリーズ
本ブログ内:http://earthsimulation.blogspot.com/2018/09/amsr.html
●SAR
本ブログ内:https://earthsimulation.blogspot.com/2018/03/sar.html
●マイクロ波散乱計
本ブログ内:https://earthsimulation.blogspot.com/2017/10/blog-post.html
●海上風の推定法
本ブログ内:https://earthsimulation.blogspot.com/2017/11/blog-post_65.html
●地形観測
●その他(降雨、温室効果ガス、海面高度、水蒸気、雲頂高度・・・)
本ブログ内:https://earthsimulation.blogspot.com/2018/05/blog-post_43.html
本ブログ内:http://earthsimulation.blogspot.com/2018/09/a.html
●海面水温
・AMSRシリーズ
本ブログ内:http://earthsimulation.blogspot.com/2018/09/amsr.html
●SAR
本ブログ内:https://earthsimulation.blogspot.com/2018/03/sar.html
●マイクロ波散乱計
本ブログ内:https://earthsimulation.blogspot.com/2017/10/blog-post.html
●海上風の推定法
本ブログ内:https://earthsimulation.blogspot.com/2017/11/blog-post_65.html
●地形観測
●その他(降雨、温室効果ガス、海面高度、水蒸気、雲頂高度・・・)
本ブログ内:https://earthsimulation.blogspot.com/2018/05/blog-post_43.html
Tuesday, September 18, 2018
ArcGIS API for Python
公式サイト
https://developers.arcgis.com/python/
解説
ArcGIS API for Python を使ってみよう:できることや使いどころ
https://community.esri.com/docs/DOC-11401-hogehoge
使ってみよう①:Jupyter Notebook で使うための環境構築
使ってみよう②:ローカル端末から ArcGIS Online へデータを作成してみよう
使ってみよう③:ArcGIS Online のアイテムを検索してみよう
使ってみよう④:ArcGIS Online のアイテムを削除してみよう
https://developers.arcgis.com/python/
解説
ArcGIS API for Python を使ってみよう:できることや使いどころ
https://community.esri.com/docs/DOC-11401-hogehoge
使ってみよう①:Jupyter Notebook で使うための環境構築
使ってみよう②:ローカル端末から ArcGIS Online へデータを作成してみよう
使ってみよう③:ArcGIS Online のアイテムを検索してみよう
使ってみよう④:ArcGIS Online のアイテムを削除してみよう
日本周辺の海洋モデル
●COCO, RIAMOM, OFES, MRI.COM
https://www.jamstec.go.jp/ceist/dsrg/crom.html
「日本近海同化プロダクトの高解像度沿岸予報への利活用」2014年
http://www.jmsfmml.or.jp/mml/summerschool/2013/2013program/2013pdf/22-nakata.pdf
●九大応力研 RIAMOM(RIAM Ocean Model)
・日本近海の海況予報 DREAMS
https://dreams-c.riam.kyushu-u.ac.jp/vwp/
DREAMS_C:能登半島を中心とする2~3日予測 1/60度×1/75度
DREAMS_M:九州南西側の1週予測 1/12度×1/15度
DREAMS_B:日本周辺の1周予測 1/4度×1/5度
「九州北部(対馬海峡)における海況予測サイトの使い方」
http://dreams-d.riam.kyushu-u.ac.jp/tutorial.pdf
「東アジア縁辺海の高解像度再解析(DREAMS)」 2013年
https://kaken.nii.ac.jp/ja/file/KAKENHI-PROJECT-21684027/21684027seika.pdf
近似カルマンフィルターとスムーザーでデータ同化
・日本海海況予測システムJADE→日本海・東シナ海JADE2
「日本海海況予測システムJADEの更新に向けてーJADE2の開発ー」(2013年)
http://www.jmsfmml.or.jp/mml/summerschool/2013/2013program/2013pdf/22-takayama.pdf
RIAM Ocean Model。毎週更新。解像度1/12度×1/15度(東西6.5~7.7km、南北7.4km)。2003年以降の再解析、2か月予測
「拡張版日本海海況予測システム(JADE2)の開発」 2014年
http://jsnfri.fra.affrc.go.jp/pub/rt/14/11-13.pdf
・リアルタイム急潮予測システム
http://kyucho.dc.affrc.go.jp/kyucho/
九州大学 応用力学研究所 東アジア海洋大気環境研究センター
https://www.riam.kyushu-u.ac.jp/COAR/
https://www.riam.kyushu-u.ac.jp/omg/research.html.ja
●FRA-ROMS
http://fm.dc.affrc.go.jp/fra-roms/
再解析及び2か月予測。 1/2°渦許容モデル(北太平洋全域)と1/10°渦解像モデル(北西太平洋)を単方向で接続。データ同化は EOF 結合モードを用いた 3 次元変分法による。
●日本沿海予測可能性実験JCOPE
http://www.jamstec.go.jp/jcope/htdocs/home.html
POMを使用。解像度1/12度(10km弱)
●東大大気海洋研 COCO
●気象研 MRI.COM/同化システムMOVE
本ブログ内:https://earthsimulation.blogspot.com/2018/07/mricom.html
・日本近海のデータ
・日別海面水温:https://www.data.jma.go.jp/gmd/kaiyou/data/db/kaikyo/daily/sst_HQ.html
・気象庁 海面水温・海流1か月予測
https://www.data.jma.go.jp/kaiyou/data/db/kaikyo/ocean/forecast/month.html
・海流予想図
https://www.data.jma.go.jp/gmd/kaiyou/data/db/kaikyo/ocean/forecast/predict.html
・海面水温予想図
https://www.data.jma.go.jp/kaiyou/data/db/kaikyo/ocean/forecast/sst1.html
●OFES
●KyotoOGCM
https://www.jamstec.go.jp/ceist/dsrg/crom.html
「日本近海同化プロダクトの高解像度沿岸予報への利活用」2014年
http://www.jmsfmml.or.jp/mml/summerschool/2013/2013program/2013pdf/22-nakata.pdf
●九大応力研 RIAMOM(RIAM Ocean Model)
・日本近海の海況予報 DREAMS
https://dreams-c.riam.kyushu-u.ac.jp/vwp/
DREAMS_C:能登半島を中心とする2~3日予測 1/60度×1/75度
DREAMS_M:九州南西側の1週予測 1/12度×1/15度
DREAMS_B:日本周辺の1周予測 1/4度×1/5度
「九州北部(対馬海峡)における海況予測サイトの使い方」
http://dreams-d.riam.kyushu-u.ac.jp/tutorial.pdf
「東アジア縁辺海の高解像度再解析(DREAMS)」 2013年
https://kaken.nii.ac.jp/ja/file/KAKENHI-PROJECT-21684027/21684027seika.pdf
近似カルマンフィルターとスムーザーでデータ同化
・日本海海況予測システムJADE→日本海・東シナ海JADE2
「日本海海況予測システムJADEの更新に向けてーJADE2の開発ー」(2013年)
http://www.jmsfmml.or.jp/mml/summerschool/2013/2013program/2013pdf/22-takayama.pdf
RIAM Ocean Model。毎週更新。解像度1/12度×1/15度(東西6.5~7.7km、南北7.4km)。2003年以降の再解析、2か月予測
「拡張版日本海海況予測システム(JADE2)の開発」 2014年
http://jsnfri.fra.affrc.go.jp/pub/rt/14/11-13.pdf
・リアルタイム急潮予測システム
http://kyucho.dc.affrc.go.jp/kyucho/
九州大学 応用力学研究所 東アジア海洋大気環境研究センター
https://www.riam.kyushu-u.ac.jp/COAR/
https://www.riam.kyushu-u.ac.jp/omg/research.html.ja
●FRA-ROMS
http://fm.dc.affrc.go.jp/fra-roms/
再解析及び2か月予測。 1/2°渦許容モデル(北太平洋全域)と1/10°渦解像モデル(北西太平洋)を単方向で接続。データ同化は EOF 結合モードを用いた 3 次元変分法による。
●日本沿海予測可能性実験JCOPE
http://www.jamstec.go.jp/jcope/htdocs/home.html
POMを使用。解像度1/12度(10km弱)
●東大大気海洋研 COCO
●気象研 MRI.COM/同化システムMOVE
本ブログ内:https://earthsimulation.blogspot.com/2018/07/mricom.html
・日本近海のデータ
・日別海面水温:https://www.data.jma.go.jp/gmd/kaiyou/data/db/kaikyo/daily/sst_HQ.html
・気象庁 海面水温・海流1か月予測
https://www.data.jma.go.jp/kaiyou/data/db/kaikyo/ocean/forecast/month.html
・海流予想図
https://www.data.jma.go.jp/gmd/kaiyou/data/db/kaikyo/ocean/forecast/predict.html
・海面水温予想図
https://www.data.jma.go.jp/kaiyou/data/db/kaikyo/ocean/forecast/sst1.html
●OFES
●KyotoOGCM
衛星クロロフィルa観測
NASAの海色プロジェクト
https://oceancolor.gsfc.nasa.gov/
https://svs.gsfc.nasa.gov/4596#23986
●MODIS/ Aqua, Terra衛星 クロロフィルaの解像度1㎞
http://kuroshio.eorc.jaxa.jp/ADEOS/mod_nrt/
http://www.cr.chiba-u.jp/~database-jp/wiki/wiki.cgi?page=JAXA-MODIS
●SGLI/ GCOM-C1衛星 クロロフィルaの解像度250m
http://www.sed.co.jp/sug/contents/satellite/satellite_gcom_c_sgli.html
●GOCI 2011年4月~
https://oceancolor.gsfc.nasa.gov/data/goci/
静止衛星。韓国周辺、解像度500m
●Sentinel-3A衛星/OLCI 2016年12月~
https://oceancolor.gsfc.nasa.gov/data/olci-s3a/
●JPSS-1衛星(NOAA-20衛星)/VIIRS 2017年12月~
https://oceancolor.gsfc.nasa.gov/data/viirs-j1/
VIIRSはMODISの後継センサー
●Suomi-NPP衛星/VIIRS 2012年1月~
https://oceancolor.gsfc.nasa.gov/data/viirs-snpp/
(ミッション終了)
●SeaWifs/ OrbView-2衛星 1997年9月打上げ、2010年12月運用停止
http://www.jamstec.go.jp/jamstec-j/OCEAN/SATE/index.html
●SAC-D/Aquarius(2011年8月~2015年6月)
「伊勢・三河湾におけるMODISとSeaWiFSのクロロフィルa濃度の検証と改善」(2015年)
https://www.jstage.jst.go.jp/article/rssj/35/4/35_245/_pdf
「海色アルゴリズムの現状について」(2013年)
https://www.jstage.jst.go.jp/article/jsprs/52/5/52_243/_pdf/-char/ja
https://oceancolor.gsfc.nasa.gov/
https://svs.gsfc.nasa.gov/4596#23986
●MODIS/ Aqua, Terra衛星 クロロフィルaの解像度1㎞
http://kuroshio.eorc.jaxa.jp/ADEOS/mod_nrt/
http://www.cr.chiba-u.jp/~database-jp/wiki/wiki.cgi?page=JAXA-MODIS
●SGLI/ GCOM-C1衛星 クロロフィルaの解像度250m
http://www.sed.co.jp/sug/contents/satellite/satellite_gcom_c_sgli.html
●GOCI 2011年4月~
https://oceancolor.gsfc.nasa.gov/data/goci/
静止衛星。韓国周辺、解像度500m
●Sentinel-3A衛星/OLCI 2016年12月~
https://oceancolor.gsfc.nasa.gov/data/olci-s3a/
●JPSS-1衛星(NOAA-20衛星)/VIIRS 2017年12月~
https://oceancolor.gsfc.nasa.gov/data/viirs-j1/
VIIRSはMODISの後継センサー
●Suomi-NPP衛星/VIIRS 2012年1月~
https://oceancolor.gsfc.nasa.gov/data/viirs-snpp/
(ミッション終了)
●SeaWifs/ OrbView-2衛星 1997年9月打上げ、2010年12月運用停止
http://www.jamstec.go.jp/jamstec-j/OCEAN/SATE/index.html
●SAC-D/Aquarius(2011年8月~2015年6月)
「伊勢・三河湾におけるMODISとSeaWiFSのクロロフィルa濃度の検証と改善」(2015年)
https://www.jstage.jst.go.jp/article/rssj/35/4/35_245/_pdf
「海色アルゴリズムの現状について」(2013年)
https://www.jstage.jst.go.jp/article/jsprs/52/5/52_243/_pdf/-char/ja
AMSRシリーズ
AMSR/AMSR-E公式サイト
http://sharaku.eorc.jaxa.jp/AMSR/index_j.html
AMSR2:地球観測衛星データ提供システム (G-Portal)
https://gportal.jaxa.jp/
2002年5月:Aqua衛星/ AMSR-E(口径1.6m)観測を継続中
https://gportal.jaxa.jp/gpr/notice/case/view/923
海面水温の解像度10GHzで30㎞、沿岸近くは陸面の影響を受ける。
打上げ未定:GCOM-W2衛星/ AMSR3
http://sharaku.eorc.jaxa.jp/AMSR/index_j.html
AMSR2:地球観測衛星データ提供システム (G-Portal)
https://gportal.jaxa.jp/
2002年5月:Aqua衛星/ AMSR-E(口径1.6m)観測を継続中
2002年12月:ADEOS-II衛星/ AMSR(口径2m)2003年に運用停止
2011年:GCOM-W1衛星/ AMSR2(口径2m)https://gportal.jaxa.jp/gpr/notice/case/view/923
海面水温の解像度10GHzで30㎞、沿岸近くは陸面の影響を受ける。
打上げ未定:GCOM-W2衛星/ AMSR3
宇宙技術開発(株) SED
販売している衛星データ
http://www.sed.co.jp/sug/contents/price/price.html
ALOS/ ALOS-2(PALSAR,AVNIR-2データはJAXAから実費販売)
COSMO-SkyMed(イタリア宇宙庁、XバンドSAR、4機体制)
GeoEye-1/IKONOS(GeoEye社)
Quickbird(ディジタルグローブ社)
RapidEye(ドイツ/RapidEye AG)
SPOT(フランスの宇宙機関CNES)
WorldView-1~3(ディジタルグローブ社)
http://www.sed.co.jp/sug/contents/price/price.html
ALOS/ ALOS-2(PALSAR,AVNIR-2データはJAXAから実費販売)
COSMO-SkyMed(イタリア宇宙庁、XバンドSAR、4機体制)
GeoEye-1/IKONOS(GeoEye社)
Quickbird(ディジタルグローブ社)
RapidEye(ドイツ/RapidEye AG)
SPOT(フランスの宇宙機関CNES)
WorldView-1~3(ディジタルグローブ社)
Monday, September 17, 2018
RESTEC
●提供する衛星データ
・WorldView-1,2,3,4/GeoEye-1/QuickBird運用終了/IKONOS運用終了(DigitalGlobe社)
・THEOS(タイ地理情報宇宙開発機構(GISTDA)再撮影頻度2日)
・Pleiades-HR (1A , 1B) / SPOT1~7(AirbusDefenceandSpace社)
・COSMO-SkyMed(日本スペースイメージング(株))
・RapidEye(Planet Labs社)
・FORMOSAT-2(台湾宇宙機関(NSPO)回帰日数1日)
・ALOS-2 (PALSAR-2)/ ALO (PALSAR, AVNIR-2/PRISM同時観測)
・JERS-1
・ADEOS/ MOS-1/ ADEOS-II
・TRIMM
・Aqua/AMSR-E/ MODIS 準リアルデータ
●提供するソリューションサービス
・JAXAのGPM計画のデータGSMaPを利用(水資源、洪水予測)
・米国の高分解能衛星QuickBird(防災・地図・施設管理、ソーラーパネル診断)
・ALOS/PALSARデータ(収穫量予測、森林監視、林道描画)
・ALOS/AVNIR-2データ(水産・藻場)
・PRISM/DSM(数値地表モデル)
・AVNIR-2とPRISM(地図、火山噴火)
・PALSARとAMSR2(海氷分布)
・LANDSATやタイ(GISTDA)のTHEOS、アメリカ商業衛星のWorld View-1、2、Quick Bird、カナダRADARSAT-2、ドイツのTerraSAR-X
・Landsat衛星のTMセンサ、ETM+センサ+IRS衛星のPANセンサ(政令指定都市)
・WorldView-1,2,3,4/GeoEye-1/QuickBird運用終了/IKONOS運用終了(DigitalGlobe社)
・THEOS(タイ地理情報宇宙開発機構(GISTDA)再撮影頻度2日)
・Pleiades-HR (1A , 1B) / SPOT1~7(AirbusDefenceandSpace社)
・COSMO-SkyMed(日本スペースイメージング(株))
・RapidEye(Planet Labs社)
・FORMOSAT-2(台湾宇宙機関(NSPO)回帰日数1日)
・ALOS-2 (PALSAR-2)/ ALO (PALSAR, AVNIR-2/PRISM同時観測)
・JERS-1
・ADEOS/ MOS-1/ ADEOS-II
・TRIMM
・Aqua/AMSR-E/ MODIS 準リアルデータ
●提供するソリューションサービス
・JAXAのGPM計画のデータGSMaPを利用(水資源、洪水予測)
・米国の高分解能衛星QuickBird(防災・地図・施設管理、ソーラーパネル診断)
・ALOS/PALSARデータ(収穫量予測、森林監視、林道描画)
・ALOS/AVNIR-2データ(水産・藻場)
・PRISM/DSM(数値地表モデル)
・AVNIR-2とPRISM(地図、火山噴火)
・PALSARとAMSR2(海氷分布)
・LANDSATやタイ(GISTDA)のTHEOS、アメリカ商業衛星のWorld View-1、2、Quick Bird、カナダRADARSAT-2、ドイツのTerraSAR-X
・Landsat衛星のTMセンサ、ETM+センサ+IRS衛星のPANセンサ(政令指定都市)
Thursday, September 13, 2018
NuSDaS (数値予報標準データセットシステム)
NuSDaS
(数値予報標準データセットシステム)
http://www.mri-jma.go.jp/Project/cons/data/nusdas13.pdf
NuSDaS は NWP Standard Dataset System の略で、数値予報格子点データ (GPV; grid point value) を 格納するために作られたデータ形式。
C および Fortran で NuSDaS データを読み書きするための サブルーチン集を NuSDaS インターフェイス (または NuSDaS ライブラリ) という。
http://www.mri-jma.go.jp/Project/cons/data/nusdas13.pdf
NuSDaS は NWP Standard Dataset System の略で、数値予報格子点データ (GPV; grid point value) を 格納するために作られたデータ形式。
C および Fortran で NuSDaS データを読み書きするための サブルーチン集を NuSDaS インターフェイス (または NuSDaS ライブラリ) という。
CO2観測している機関・組織
●世界
温室効果ガス世界資料センター(WDCGG)
https://gaw.kishou.go.jp/jp/
観測点マップ:https://gaw.kishou.go.jp/searchで「MAP」をクリック
観測機関リスト:https://gaw.kishou.go.jp/documents/db_list/organization
●研究機関
・気象庁・気象研
綾里、南鳥島、与那国島で観測
https://ds.data.jma.go.jp/ghg/kanshi/obs/co2_monthave_ryo.html
・環境省・国環研
- いぶきGOSAT:http://www.gosat.nies.go.jp/recent-global-co2.html
- 本ブログ内:https://earthsimulation.blogspot.com/2018/09/nies.html
- スカイツリーで観測
・産総研・NEDO
・水産研究・教育機構FRA
・極地研:https://scidbase.nipr.ac.jp/modules/metadata/index.php?content_id=145
・JAMSTEC
- https://www.jamstec.go.jp/mutsu/co2/
- 「みらい」等によるCO2分圧観測データ
●自治体・大学
・北大:
・東北大学 大気海洋変動観測研究センター:http://tgr.geophys.tohoku.ac.jp
・埼玉県 環境科学国際センター:https://www.pref.saitama.lg.jp/cess/index.html
・静岡大学:http://www.shizuoka.ac.jp/index.html
・愛知県 環境部 水大気環境課:https://www.pref.aichi.jp/soshiki/ondanka/0000004708.html
・名古屋大学 地球水循環研究センター:http://www.hyarc.nagoya-u.ac.jp/japanese/index.html
・大阪大学工学部:http://www.eng.osaka-u.ac.jp/ja/index.html
●その他
・交通エコロジー・モビリティー財団(ECoMo):http://www.ecomo.or.jp/
・(株)環境総合テクノス(KANSO):http://www.kanso.co.jp/
・特定非営利活動法人co2sos:http://www.co2sos.net/
・(株)ユードム:生活環境圏を対象とした CO2濃度計測の学校環境教育への展開
温室効果ガス世界資料センター(WDCGG)
https://gaw.kishou.go.jp/jp/
観測点マップ:https://gaw.kishou.go.jp/searchで「MAP」をクリック
観測機関リスト:https://gaw.kishou.go.jp/documents/db_list/organization
●研究機関
・気象庁・気象研
綾里、南鳥島、与那国島で観測
https://ds.data.jma.go.jp/ghg/kanshi/obs/co2_monthave_ryo.html
・環境省・国環研
- いぶきGOSAT:http://www.gosat.nies.go.jp/recent-global-co2.html
- 本ブログ内:https://earthsimulation.blogspot.com/2018/09/nies.html
- スカイツリーで観測
・産総研・NEDO
・水産研究・教育機構FRA
・極地研:https://scidbase.nipr.ac.jp/modules/metadata/index.php?content_id=145
・JAMSTEC
- https://www.jamstec.go.jp/mutsu/co2/
- 「みらい」等によるCO2分圧観測データ
●自治体・大学
・北大:
・東北大学 大気海洋変動観測研究センター:http://tgr.geophys.tohoku.ac.jp
・埼玉県 環境科学国際センター:https://www.pref.saitama.lg.jp/cess/index.html
・静岡大学:http://www.shizuoka.ac.jp/index.html
・愛知県 環境部 水大気環境課:https://www.pref.aichi.jp/soshiki/ondanka/0000004708.html
・名古屋大学 地球水循環研究センター:http://www.hyarc.nagoya-u.ac.jp/japanese/index.html
・大阪大学工学部:http://www.eng.osaka-u.ac.jp/ja/index.html
●その他
・交通エコロジー・モビリティー財団(ECoMo):http://www.ecomo.or.jp/
・(株)環境総合テクノス(KANSO):http://www.kanso.co.jp/
・特定非営利活動法人co2sos:http://www.co2sos.net/
・(株)ユードム:生活環境圏を対象とした CO2濃度計測の学校環境教育への展開
Wednesday, September 12, 2018
気象データのツール
(※印はCentOS6の追加レポジトリ)
基本環境
※IntelのCコンパイラ
※IntelのFortranコンパイラ
※PHP
※MySQL
格子点データ・グラフ描画ツール
TAG:気象庁数値予報課で開発されているラスタ形式での高速描画ツール。
NuSDaS, (一部の)GRIB2用
PANDAH:気象庁数値予報課で開発されている描画ツール。モニタ図やメソモデル開発などに利用。描画ライブラリに PLOTPS を用いている。 NuSDaS用
kplot, mplot:気象研究所で開発されている描画ツール。描画ライブラリに PLOTPS を用 いている。
NuSDaS (kplot)、JMA-NHM の 独自フォーマット出力(MRI 形式) (mplot) 用
※GMT:ハワイ大学で開発されている描画のためのツールおよび描画のためのデータセット処理ツールの集合。テキストデータ、バイナリデータ用
※GrADS:COLA で開発されている気象関係のデータの扱いに特化したデータ描画ツール。GRIB1/2、NetCDF用
※NCL:NCAR で開発されているデータ解析、描画のためのスクリプト言語。描画ラ イブラリに NCAR Graphics を用い ている。 NetCDF, GRIB1/2, HDF用
MetView:ECMWF で開発されている GUI を併せ持った描画ツール。スクリプトによるバッチ処理も可能。描画ライブラ リに Magics を用いている。
GRIB1/2, NetCDF, BUFR用
gnuplot:有志によって開発されている 2 次元および 3 次元のグラフの作成ツール。
主にテキストデータ用
※R:有志によって開発されている統計解析ツール。グラフ等の描画にも利用可能。
テキストファイル用。
MATLAB:MathWorks社の技術計算言語。可視化だけでなく、強力な計算機能、データ解析機能を持つ。 テキストファイル、NetCDF、HDF用。
IDL(ウィキ):商用の技術計算言語。可視化だけでなく、強力な計算機能、データ解析機能 を持つ。UKMO で利用されている。 NetCDF, HDF, GRIB用。
※ImageMagic
※Octave:matlab互換のフリーウェア
ライブラリ
PLOTPS:気象研が開発した PostScript を出力する描画ライブラ リ。
Magics:ECMWF が開発した描画ライブラリ。C、C++、Fortran、Python のインターフェースを持つ。 GRIB1/2, NetCDF, BUFR などの 読み出し機能を内包。
※matplotlib:有志によって開発されている Python の描画ライブラリ。MATLAB と似た使い方を目指している。 他のデータ読み出しライブラリを組み 合わせる。
Iris:UKMO が開発した地球科学データ向けの Python のライブラリ。 描画部は matplotlib を利用。
NCAR Graphics:NCAR が開発した描画ライブラリ。C、Fortran のインターフェー スを持つ。
PyNGL, PyNIO:PyNGL は NCAR が開発した NCAR Graphics の Python イン ターフェース。
※地球流体電脳ライブラリDCL:地球流体電脳倶楽部で開発されているライブラリ。C、Fortran、Ruby のインターフェースを持つ。
※PLplot:グラフ作成ライブラリ
解析ライブラリ
※NetCDFライブラリ
※HDF(Hierarchical Data Format)
※HDF-5
※Grib_api:ECMWF の GRIB デーコーダ
スクリプト言語
※Python
※Ruby
その他のツール
※git:バージョン管理
※mercurial:バージョン管理
出典:http://www.jma.go.jp/jma/kishou/books/nwpreport/63/chapter4.pdf
基本環境
※IntelのCコンパイラ
※IntelのFortranコンパイラ
※PHP
※MySQL
格子点データ・グラフ描画ツール
TAG:気象庁数値予報課で開発されているラスタ形式での高速描画ツール。
NuSDaS, (一部の)GRIB2用
PANDAH:気象庁数値予報課で開発されている描画ツール。モニタ図やメソモデル開発などに利用。描画ライブラリに PLOTPS を用いている。 NuSDaS用
kplot, mplot:気象研究所で開発されている描画ツール。描画ライブラリに PLOTPS を用 いている。
NuSDaS (kplot)、JMA-NHM の 独自フォーマット出力(MRI 形式) (mplot) 用
※GMT:ハワイ大学で開発されている描画のためのツールおよび描画のためのデータセット処理ツールの集合。テキストデータ、バイナリデータ用
※GrADS:COLA で開発されている気象関係のデータの扱いに特化したデータ描画ツール。GRIB1/2、NetCDF用
※NCL:NCAR で開発されているデータ解析、描画のためのスクリプト言語。描画ラ イブラリに NCAR Graphics を用い ている。 NetCDF, GRIB1/2, HDF用
MetView:ECMWF で開発されている GUI を併せ持った描画ツール。スクリプトによるバッチ処理も可能。描画ライブラ リに Magics を用いている。
GRIB1/2, NetCDF, BUFR用
gnuplot:有志によって開発されている 2 次元および 3 次元のグラフの作成ツール。
主にテキストデータ用
※R:有志によって開発されている統計解析ツール。グラフ等の描画にも利用可能。
テキストファイル用。
MATLAB:MathWorks社の技術計算言語。可視化だけでなく、強力な計算機能、データ解析機能を持つ。 テキストファイル、NetCDF、HDF用。
IDL(ウィキ):商用の技術計算言語。可視化だけでなく、強力な計算機能、データ解析機能 を持つ。UKMO で利用されている。 NetCDF, HDF, GRIB用。
※ImageMagic
※Octave:matlab互換のフリーウェア
ライブラリ
PLOTPS:気象研が開発した PostScript を出力する描画ライブラ リ。
Magics:ECMWF が開発した描画ライブラリ。C、C++、Fortran、Python のインターフェースを持つ。 GRIB1/2, NetCDF, BUFR などの 読み出し機能を内包。
※matplotlib:有志によって開発されている Python の描画ライブラリ。MATLAB と似た使い方を目指している。 他のデータ読み出しライブラリを組み 合わせる。
Iris:UKMO が開発した地球科学データ向けの Python のライブラリ。 描画部は matplotlib を利用。
NCAR Graphics:NCAR が開発した描画ライブラリ。C、Fortran のインターフェー スを持つ。
PyNGL, PyNIO:PyNGL は NCAR が開発した NCAR Graphics の Python イン ターフェース。
※地球流体電脳ライブラリDCL:地球流体電脳倶楽部で開発されているライブラリ。C、Fortran、Ruby のインターフェースを持つ。
※PLplot:グラフ作成ライブラリ
解析ライブラリ
※NetCDFライブラリ
※HDF(Hierarchical Data Format)
※HDF-5
※Grib_api:ECMWF の GRIB デーコーダ
スクリプト言語
※Python
※Ruby
その他のツール
※git:バージョン管理
※mercurial:バージョン管理
出典:http://www.jma.go.jp/jma/kishou/books/nwpreport/63/chapter4.pdf
京大防災研のデータ
京都大学
●防災研究所:http://www.dpri.kyoto-u.ac.jp/
総合防災研究グループ
社会防災研究部門
巨大災害研究センター
大気・水研究グループ
気象・水災害研究部門
暴風雨・気象環境研究分野
沿岸災害研究分野(津波、高潮、巨大波浪)
流域災害研究グループ
水資源研究センター
●生存圏研究所
・生存圏データベース
グローバル大気観測データ(JRA-55、ERA-40、NCEP再解析データ、GPV、全国号さえいレーダ、ウィンドプロファイラ)
●防災研究所:http://www.dpri.kyoto-u.ac.jp/
総合防災研究グループ
社会防災研究部門
巨大災害研究センター
大気・水研究グループ
気象・水災害研究部門
暴風雨・気象環境研究分野
沿岸災害研究分野(津波、高潮、巨大波浪)
流域災害研究グループ
水資源研究センター
●生存圏研究所
・生存圏データベース
グローバル大気観測データ(JRA-55、ERA-40、NCEP再解析データ、GPV、全国号さえいレーダ、ウィンドプロファイラ)
Tuesday, September 11, 2018
都道府県の環境研究機関
都道府県の環境研究機関のリンク:https://www.nies.go.jp/link/site1-3.html
北海道:環境科学研究センター
岩手県:環境保健研究センター
宮城県:保健環境センター
秋田県:健康環境センター
山形県:環境科学研究センター
新潟県:保健環境科学研究所
新潟市:衛生環境研究所
福島県:環境センター
茨城県:霞ケ浦環境科学センター
栃木県:
千葉県:環境研究センター(暑熱)
東京都:環境科学研究所(暑熱)
港区:(暑熱)
千代田区:(暑熱)
目黒区:(暑熱)
神奈川県:環境科学センター(暑熱)
横浜市:横浜市衛生環境研究所(暑熱、熱中症)
川崎市:環境総合研究所(暑熱)
埼玉県:環境科学国際センター(暑熱、熊谷)
群馬県:環境衛生研究所
山梨県:衛生環境研究所
福井県:衛生環境研究センター
富山県:環境科学センター
石川県:保健環境センター
長野県:環境保全研究所
静岡県:環境衛生科学研究所
愛知県:
名古屋市:環境科学調査センター(暑熱)
岐阜県:保険環境研究所
三重県:保健環境研究所
滋賀県:琵琶湖環境科学研究センター
京都府:保健環境研究所
京都市:衛生環境研究所
大阪府:環境農林水産総合研究所(大阪湾水温速報、暑熱)
大阪市:環境科学研究所(暑熱)
堺市:(暑熱)
東大阪市:(暑熱)
高槻市:(暑熱)
奈良県:
兵庫県:環境研究センター
神戸市:環境保健研究所
姫路市:(暑熱)
和歌山県:環境衛生研究センター
鳥取県:環境衛生研究所
島根県:保健環境科学研究所
岡山県:環境保健センター
広島県:保健環境センター
徳島県:保険製薬環境センター
香川県:環境保健研究センター
愛媛県:衛生環境研究所
高知県:環境研究センター
福岡県:
北九州市:環境科学研究所
福岡市:保健環境研究所
佐賀県:環境センター
長崎県:環境保健研究センター
熊本県:保健環境科学研究所
熊本市:環境総合センター
大分県:衛生環境研究センター
宮城県:衛生環境研究所
鹿児島県:環境保健センター
沖縄県:保健医療部 衛生環境研究所
北海道:環境科学研究センター
岩手県:環境保健研究センター
宮城県:保健環境センター
秋田県:健康環境センター
山形県:環境科学研究センター
新潟県:保健環境科学研究所
新潟市:衛生環境研究所
福島県:環境センター
茨城県:霞ケ浦環境科学センター
栃木県:
千葉県:環境研究センター(暑熱)
東京都:環境科学研究所(暑熱)
港区:(暑熱)
千代田区:(暑熱)
目黒区:(暑熱)
神奈川県:環境科学センター(暑熱)
横浜市:横浜市衛生環境研究所(暑熱、熱中症)
川崎市:環境総合研究所(暑熱)
埼玉県:環境科学国際センター(暑熱、熊谷)
群馬県:環境衛生研究所
山梨県:衛生環境研究所
福井県:衛生環境研究センター
富山県:環境科学センター
石川県:保健環境センター
長野県:環境保全研究所
静岡県:環境衛生科学研究所
愛知県:
名古屋市:環境科学調査センター(暑熱)
岐阜県:保険環境研究所
三重県:保健環境研究所
滋賀県:琵琶湖環境科学研究センター
京都府:保健環境研究所
京都市:衛生環境研究所
大阪府:環境農林水産総合研究所(大阪湾水温速報、暑熱)
大阪市:環境科学研究所(暑熱)
堺市:(暑熱)
東大阪市:(暑熱)
高槻市:(暑熱)
奈良県:
兵庫県:環境研究センター
神戸市:環境保健研究所
姫路市:(暑熱)
和歌山県:環境衛生研究センター
鳥取県:環境衛生研究所
島根県:保健環境科学研究所
岡山県:環境保健センター
広島県:保健環境センター
徳島県:保険製薬環境センター
香川県:環境保健研究センター
愛媛県:衛生環境研究所
高知県:環境研究センター
福岡県:
北九州市:環境科学研究所
福岡市:保健環境研究所
佐賀県:環境センター
長崎県:環境保健研究センター
熊本県:保健環境科学研究所
熊本市:環境総合センター
大分県:衛生環境研究センター
宮城県:衛生環境研究所
鹿児島県:環境保健センター
沖縄県:保健医療部 衛生環境研究所
NCEPのGEFS(旧GENS)
Global Ensemble Forecast System(GEFS)
https://www.ncdc.noaa.gov/data-access/model-data/model-datasets/global-ensemble-forecast-system-gefs
公式サイト:http://www.emc.ncep.noaa.gov/index.php?branch=GEFS
旧名称:GFS Global ENSemble(GENS)
アンサンブルメンバー:21
全球、1日4回、16日まで。2012 version of NCEP's Global Ensemble Forecasting System (GEFS, Version 10)を使用。8日まで解像度60㎞、16日まで解像度70㎞。
・Performance of the New NCEP Global Ensemble Forecast System in a Parallel Experiment 2017
・NCEP Global Ensemble Forecast System (GEFS) 2014
NOMADS(NOAA National Operational Model Archive and Distribution System):グリッド化されたデータの入手。NOMADS Ensemble Probability Toolもある。
HDSS Access System(HAS):GEFSのオフラインデータの注文。
https://www.ncdc.noaa.gov/data-access/model-data/model-datasets/global-ensemble-forecast-system-gefs
公式サイト:http://www.emc.ncep.noaa.gov/index.php?branch=GEFS
旧名称:GFS Global ENSemble(GENS)
アンサンブルメンバー:21
全球、1日4回、16日まで。2012 version of NCEP's Global Ensemble Forecasting System (GEFS, Version 10)を使用。8日まで解像度60㎞、16日まで解像度70㎞。
・Performance of the New NCEP Global Ensemble Forecast System in a Parallel Experiment 2017
・NCEP Global Ensemble Forecast System (GEFS) 2014
NOMADS(NOAA National Operational Model Archive and Distribution System):グリッド化されたデータの入手。NOMADS Ensemble Probability Toolもある。
HDSS Access System(HAS):GEFSのオフラインデータの注文。
Monday, September 10, 2018
暑熱対策
○熱中症予防情報サイト(環境省)
http://www.wbgt.env.go.jp/
暑さ指数(WBGT)電子情報提供サービス
http://www.wbgt.env.go.jp/data_service.php
提供業務報告書
https://www.env.go.jp/air/report/h22-04/index.html
○高反射塗料
・遮熱塗料ミラクール
○ドライミスト:太陽工業(株)ミストシェルター、パナソニック
暑熱コンサルティング
・暑熱対策エンジニアリング:三井住友建設(建物の温度推定、換気、ミスト、ヨシズ・屋根散水、置換空調)、TERAL(排熱、誘引ファン、ピンポイント空調)、応用技術(株)、長谷工コーポレーション、NTT都市開発、戸田建設
・畜産関係:神奈川県県家畜保健衛生所、チュウチク
・現場作業者:クラボウのスマート衣料SmartFit
・スポーツ:JISS
○ヒートアイランド対策
国環研
埼玉県:対策
神奈川県:ハンドブック
横浜市:環境創造局
川崎市:対策
東京都:環境局
目黒区:対策
千葉県:対策
2020対策
http://www.wbgt.env.go.jp/
暑さ指数(WBGT)電子情報提供サービス
http://www.wbgt.env.go.jp/data_service.php
提供業務報告書
https://www.env.go.jp/air/report/h22-04/index.html
○高反射塗料
・遮熱塗料ミラクール
○ドライミスト:太陽工業(株)ミストシェルター、パナソニック
暑熱コンサルティング
・暑熱対策エンジニアリング:三井住友建設(建物の温度推定、換気、ミスト、ヨシズ・屋根散水、置換空調)、TERAL(排熱、誘引ファン、ピンポイント空調)、応用技術(株)、長谷工コーポレーション、NTT都市開発、戸田建設
・畜産関係:神奈川県県家畜保健衛生所、チュウチク
・現場作業者:クラボウのスマート衣料SmartFit
・スポーツ:JISS
○ヒートアイランド対策
国環研
埼玉県:対策
神奈川県:ハンドブック
横浜市:環境創造局
川崎市:対策
東京都:環境局
目黒区:対策
千葉県:対策
2020対策
Thursday, September 6, 2018
Pythonと気象データ用ツール
解説(pdf):Python tools for analysing data
●ECMWF
Access ECMWF Public Datasets(ECMWFの公開データを取得)
Accessing ECMWF data servers in batch
上記サイトからデータを取得する際のpythonスクリプトのメモ
ECMWF API Python Client(GitHub)
Downloading ERA INTERIM Data
●UKMO
https://scitools.org.uk/
・Iris:
・Cartopy:geospatial data processing in order to produce maps and other geospatial data analyses.
・cf-units:a wrapper class to support Unidata/UCAR UDUNITS-2, and the netcdftime calendar functionality. Provides units of measure.
・Iris-grib:functionality for converting between weather and climate datasets that are stored as GRIB files and Iris cubes.
・nc-time-axis(GitHub):support for non-gregorian datetimes in matplotlib
・scitools/courses(GitHub):
ukmetv2.py(GitHub)
MetOffer 2.0:a simple wrapper for the API. It can be used to retrieve weather observations and forecasts
How to use Python to extract data from the Met Office JSON download
解説(pdf):Iris: A python package for the analysis and visualisation of Meteorological data
●NCEP
Global RTOFS Data Analysis with Python
Examples of NWW3 Model Data Processing with Python
Python - NetCDF reading and writing example with plotting
GFSDownload 0.0.2:Tools for downloading gfs meteo parameters modelling estimation on an area and on a specific time.
●NCAR
https://www2.cisl.ucar.edu/resources/computational-systems/cheyenne/software/python
NCAR's repository(GitHub)
・wrf_hydro_py:Python API for the WRF-Hydro model
・dset-JSON-to-ISO19139:A python command-line program for translating metadata records written in JSON to ISO 19139 XML.
・METplus:Python scripting infrastructure for MET tools.
WRF-Python Tutorial 2018
●Universty of Reading
cf-pytnon
●農研機構 メッシュ農業気象データ
https://amu.rd.naro.go.jp/
参考
本ブログ内:https://earthsimulation.blogspot.com/2018/09/blog-post_54.html
C言語やFortranで記述された関数をPythonから呼び出すことが簡単にできる。
ベクトル計算に適した数値計算パッケージNumpy、統計計算パッケージpandasがある。
SQLite、PostgreSQL、MySQLなどのRDBMSの操作を行うことができる。
●ECMWF
Access ECMWF Public Datasets(ECMWFの公開データを取得)
Accessing ECMWF data servers in batch
上記サイトからデータを取得する際のpythonスクリプトのメモ
ECMWF API Python Client(GitHub)
Downloading ERA INTERIM Data
●UKMO
https://scitools.org.uk/
・Iris:
・Cartopy:geospatial data processing in order to produce maps and other geospatial data analyses.
・cf-units:a wrapper class to support Unidata/UCAR UDUNITS-2, and the netcdftime calendar functionality. Provides units of measure.
・Iris-grib:functionality for converting between weather and climate datasets that are stored as GRIB files and Iris cubes.
・nc-time-axis(GitHub):support for non-gregorian datetimes in matplotlib
・scitools/courses(GitHub):
ukmetv2.py(GitHub)
MetOffer 2.0:a simple wrapper for the API. It can be used to retrieve weather observations and forecasts
How to use Python to extract data from the Met Office JSON download
解説(pdf):Iris: A python package for the analysis and visualisation of Meteorological data
●NCEP
Global RTOFS Data Analysis with Python
Examples of NWW3 Model Data Processing with Python
Python - NetCDF reading and writing example with plotting
GFSDownload 0.0.2:Tools for downloading gfs meteo parameters modelling estimation on an area and on a specific time.
●NCAR
https://www2.cisl.ucar.edu/resources/computational-systems/cheyenne/software/python
NCAR's repository(GitHub)
・wrf_hydro_py:Python API for the WRF-Hydro model
・dset-JSON-to-ISO19139:A python command-line program for translating metadata records written in JSON to ISO 19139 XML.
・METplus:Python scripting infrastructure for MET tools.
WRF-Python Tutorial 2018
●Universty of Reading
cf-pytnon
●農研機構 メッシュ農業気象データ
https://amu.rd.naro.go.jp/
参考
本ブログ内:https://earthsimulation.blogspot.com/2018/09/blog-post_54.html
C言語やFortranで記述された関数をPythonから呼び出すことが簡単にできる。
ベクトル計算に適した数値計算パッケージNumpy、統計計算パッケージpandasがある。
SQLite、PostgreSQL、MySQLなどのRDBMSの操作を行うことができる。
Subscribe to:
Posts (Atom)