Thursday, December 13, 2018

HTTP/2と並列転送/ストリームの多重化

大容量ファイルのダウンロードが帯域を食いつぶし、他の通信を妨害してしまうことをコントロールする。
  • クライアント側のブラウザのほとんどがHTTP/2に対応済み。
  • サーバ側がHTTP/2に対応しているかどうかは、”HTTP/2 and SPDY indicator”というプラグインをクライアント側のブラウザに導入し、サーバのサイトにアクセスすれば右上に青色表示される。未対応なら色なし。
  • サーバーとブラウザの間の通信を、HTTPS による SSL/TLS 通信にする必要がある(ブラウザ側の事情による)。
使用するデフォルトのポート番号はhttpの場合80番、httpsの場合443番。

・HTTP/2の特徴
https://blog.redbox.ne.jp/http2-cdn.html
・HTTP/2 とは?
https://dc.cybertrust.co.jp/ssl/http2.html
・HTTP/2 の概要
https://developers.google.com/web/fundamentals/performance/http2/?hl=ja
・HTTP/2とは(SKY NOTE、2015)
http://skymouse.hatenablog.com/entry/20150221/1424486687
・普及が進む「HTTP/2」の仕組みとメリットとは 2017
https://knowledge.sakura.ad.jp/7734/
https://knowledge.sakura.ad.jp/7735/
・そろそろ知っておきたいHTTP/2の話 2018
https://qiita.com/uutarou10/items/7698ee3336c70a482843

Monday, December 10, 2018

インジェクション攻撃

ウィキペディア

  • 適切に利用すれば任意の文字入力に対してセキュアであるようなAPIを用いる。
  • 型システムにより言語間の分離を強制する。
  • 既知の適切な値のみをホワイトリスト化するなどの入力バリデーションを行う。
  • 危険な文字をエスケープするなど、入力のエンコーディングを行う。
  • 出力をエンコーディングし、ウェブサイトの訪問者へのクロスサイトスクリプティング(XSS)攻撃を防ぐ。
  • HttpOnlyフラグを立てるとクライアントサイドのスクリプトはHTTP cookieの情報にアクセスできなくなり、ある種のXSS攻撃を防ぐことができる。
  • シェルのモジュールをカーネルから分離する。
  • SQLインジェクションについては、パラメータ化クエリ、ストアドプロシージャ、ホワイトリスト入力バリデーションなどにより、コードインジェクションの問題を緩和することができる。
  • ランタイムイメージのハッシュ検査 - メモリに読み込まれた実行可能イメージの全部または一部のハッシュを生成し、予め記憶済みの期待されるハッシュ値と比較する。
  • NXビット - 全てのユーザデータを実行ができないようにした特別な記憶領域に保存する。
  • カナリア - スタックにランダムに値を配置する。実行時、関数が値を返す際にカナリアの値が確認される。
  • (C言語における) Code Pointer Masking (CPM) - (変更が加えられる可能性のある)コードへのポインタをレジスタに読み込んだ後に、ポインタにマスクをすることで、ポインタが指し示すアドレスを効果的に隠すことが出来る。

インジェクション攻撃は3種類ある 2018
https://blog.ohgaki.net/there-are-3-types-of-injection-attack-vulnerability
 コードのインジェクション

  • SQLインジェクション
  • JavaScriptインジェクション
  • OSコマンドインジェクション

 データのインジェクション
 リクエストのインジェクション

インジェクション攻撃(通信用語の基礎知識)2008

Monday, December 3, 2018

JavaScript

ウィキペディア

Javaとは全く別物。スクリプト言語。ウェブブラウザ上で動作する。サーバーサイド実行環境や各種ライブラリも充実している。
主要ウェブブラウザの大半でサポートされている唯一の言語。

JavaScriptとは何なのか!初心者向けに徹底解説
https://techacademy.jp/magazine/8801

独学で身につく!入門向けのJavaScript学習サイト20選
https://techacademy.jp/magazine/10372


https://developer.mozilla.org/ja/docs/Learn/JavaScript/First_steps/What_is_JavaScript
・HTML:マークアップ言語
・CSS:スタイリング規則の言語
・JavaScript:スクリプト言語

Tuesday, November 20, 2018

d4PDF

公式サイト
http://www.miroc-gcm.jp/~pub/d4PDF/index.html
ダウンロード(DIAS共通アカウントでログイン)
http://search.diasjp.net/ja/dataset/d4PDF_GCM
http://search.diasjp.net/ja/dataset/d4PDF_RCM
SEAL(SI-CAT気候実験データベースシステム)
http://www.jamstec.go.jp/j/about/press_release/20200227/

・GCM(60kmメッシュ、MRI-AGCM3.2)とRCM(20kmメッシュ、NHRCM)がある。
・過去実験(1951年~2011年8月 ×100メンバ)、非温暖化実験(産業革命前の条件、1951年~2010年×100メンバ)、将来2度昇温実験(2031年~2091年8月×54メンバ)、将来4度昇温実験(2051年~2111年8月×90メンバ)がある。
・昇温実験ではCCSM4(NCAR)、GFDL-CM3(プリンストン大/NOAA)、HadGEM2-AO(Hadley Center)、MIROC5(AORI/NIES/JAMSTEC)、MPI-ESM-MR(Max Plank Institute)、MRI-CGCM3(気象庁)の昇温パターンがある。
・変数
  • 地上大気データ:雨、氷、雪、みぞれ、あられ・ひょう、気圧、風速ベクトル、気温、湿数、雲カバー、可降水量
  • 熱力学関連2次元データ:体積含水率、顕熱、潜熱、短波長放射、長波長放射、太陽放射、比湿、土壌温度、気温、風速
  • 土壌関係データ:キャノピー温度、地上温度、雪表面温度、土壌温度、土壌水分の飽和比、土壌氷の飽和比、雪の温度、表面流出、下排水、葉からの蒸散、雪からの昇華、雪解け、
  • 大気3次元データ:
d4PDF は、すべての実験を大気モデルで実施しており、台風の通過による海面水温の冷却を考慮していないため、台風の強さを過大評価している可能性がある(坪木、2017、p.89)。

「我が国の気候予測データセットの整備及びその解説書の作成について」(第2回気候変動に関する懇談会、2019.2.26)
https://www.data.jma.go.jp/cpdinfo/kikohendo_kondankai/part2/part2_gidai3.pdf
 2022年までに創生・統合。SI-CATで得られた予測データを提供。
統合的気候モデル高度化研究プログラム
・ 温暖化予測情報の提供に関して(気象研、高薮、2016年)
https://www.env.go.jp/press/y0616-11/mat03.pdf
・力学的数値モデルによる気候情報の詳細化
http://www.nagare.or.jp/download/noauth.html?d=36-1_tokushu2.pdf&dir=47

d4PDF+20㎞
○アンサンブル気候予測データを用いた日本周辺の月降水量極端事象の将来変化(北大、初塚大輔ほか、2017、20㎞)
http://www.metsoc-hokkaido.jp/saihyo/pdf/saihyo63/3_hatsuzuka_mod.pdf
・気候の不確実性を考慮したダウンスケーリング技術の開発(佐藤友徳ほか、2017、20km)https://www.jamstec.go.jp/ceist/j/publication/annual/annual2016/pdf/2project/chapter1/1-8_sato.pdf

○ダウンスケーリングについての現状と課題(SI-CAT、防災科研、大楽、2017年、1km統計的DS)
https://si-cat.jp/_public/201703_WS/1-2.pdf

○損害保険のための日本全域洪水リスク評価モデルの開発(1):確率降雨イベントモデルの開発(SOMPO リスケアマネジメント、長野智絵ほか。2018)
https://www.jsnds.org/ssk/ssk_37_2_177.pdf

○時空間相関を考慮した地先の水害リスクの評価方法に関する研究(京大防災研、2015年)
http://www.jice.or.jp/cms/kokudo/pdf/review/assistances/results/h27/h27-06h.pdf

○多数アンサンブルのダウンスケーリングによる日本の気候の将来予測(村田昭彦ほか)
https://www.jamstec.go.jp/sousei/jp/event/others/d4PDFsympo/pdf/3_Murata.pdf

○日本の気候変動とその影響(気候変動の観測・予測及び影響評価統合レポート2018、環境省、文科省、農水省、国交省、気象庁)
https://stopsendaips.jp/wp-content/uploads/2017/10/180718kouB5.pdf

○気候モデルから得られる多数のアンサンブルデータを用いた確率降水量の推定法(北野利一、2017、20km)
https://www.jstage.jst.go.jp/article/jscejhe/73/4/73_I_1/_article/-char/ja

○超多数アンサンブル気候予測実験データを用いた極値河川流量の将来変化の分析(立川康人ほか、2017、20km)
https://www.jstage.jst.go.jp/article/jscejhe/73/3/73_77/_article/-char/ja
・水災害対策と洪水予測技術(IEEJ Journal、2017、20㎞)
http://hywr.kuciv.kyoto-u.ac.jp/publications/papers/2017%E9%9B%BB%E6%B0%97%E5%AD%A6%E4%BC%9A%E8%AA%8C137(5)_Tachikawa.pdf
・d4PDFを用いた年最大ピーク流量の確率分布の将来変化の分析(立川康人、2017年、流出モデルは1km)
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_56/_pdf/-char/ja
・d4PDFを用いた庄内川流域での最大クラスの外水氾濫の分析(京大、清原桂子ほか、2017年)
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_78/_article/-char/ja/
・洪水災害への影響(立川康人、2019)
http://togo-d.jp/assets/files/togo-d/20190524/6%E7%AB%8B%E5%B7%9D.pdf
・総合確率法を基礎とした水災害リスクカーブ作成手法の開発(京大、市川温、2015年)
http://www.mlit.go.jp/river/gijutsu/ryuikikadai/pdf/h27_report_ichikawa.pdf
・d4PDFを使用した将来気候下における荒川流域での洪水リスクの確率的評価(東京海上研究所、永野隆士ほか、?年)
https://www.tokiomarinehd.com/sustainability/theme1/pdf/jshwr-flood.pdf
・風水害対策および水資源確保への応用(京大防災研、立川康人、2018)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Tachikawa.pdf

○d4PDF関連気候研究のレビュー(塩竈秀夫、国立環境研究所、2018年)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Shiogama.pdf
・農環研飯泉・NIES塩竈がバイアス補正した4℃実験と2℃実験の日平均地表データを作成、公開予定(一部DIASで公開済み)

○d4PDFを用いた利根川流域降水量の極限評価(田中茂信、2017、20㎞) https://www.dpri.kyoto-u.ac.jp/nenpo/no60/ronbunB/a60b0p44.pdf

○d4PDFの目的と概要(気象研、高薮 出)
https://www.jamstec.go.jp/sousei/jp/event/others/d4PDFsympo/pdf/1_Takayabu.pdf
・d4PDFにおける強雨の要因分析(同上、2019、20㎞)
http://www.mlit.go.jp/river/shinngikai_blog/chisui_kentoukai/dai04kai/02_3_1_d4pdf.pdf

○アメダス観測点を対象としたd4PDFバイアス補正降水量データセット(東大、渡部哲史、2018、20㎞)
https://www.jstage.jst.go.jp/article/jshwr/31/0/31_6/_article/-char/ja

○アンサンブル気候変動予測データベース d4PDF を用いた長良川流域における洪水流出解析(岐阜大、原田守啓、2018)
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_62/_pdf

○アンサンブル気候予測データベースd4PDFを活用した四国での気候変動影響評価(高知工科大、吉村耕平ほか、2019、20㎞)
https://confit.atlas.jp/guide/event-img/jpgu2019/ACG43-11/public/pdf?type=in&lang=ja

○時空間相関を考慮した地先の水害リスクの評価方法に関する研究:大規模河川流域を対象として(京大防災研、多々納裕一ほか、20㎞) http://www.jice.or.jp/cms/kokudo/pdf/review/assistances/results/h27/h27-06g.pdf

○地球温暖化に伴う猛烈な熱帯低気圧の出現頻度変化(吉田 康平、気象研究所、2018年)
http://www.mri-jma.go.jp/Topics/H30/kankyosympo2018/files/poster_2.pdf
・大規模アンサンブル気候予測データを用いた爆弾低気圧の将来変化(金沢大学、高裕也ほか、2018)
https://kanazawa-u.repo.nii.ac.jp/?action=repository_action_common_download&item_id=44142&item_no=1&attribute_id=26&file_no=1

○気候変動に伴う都市災害への適応(北大、稲津將、2019)
https://www.erca.go.jp/suishinhi/seika/pdf/seika_2_03/2-1905.pdf

建築環境の評価に向けた気候変動データの高度化(清水建設、PHAM VAN PHUC、2017)
https://www.gsic.titech.ac.jp/sites/default/files/H29_san_17IBB.pdf

○生態系評価に向けた大規模アンサンブル実験を用いた流域圏における溶存有機炭素(DOC)流出量の将来予測−釧路川流域を対象として−(岐阜大、北見工大)
http://www.esj.ne.jp/meeting/abst/65/P2-299.html

○アンサンブル気候予測データベース(d4PDF)における東アジア気候の再現性と将来変化(気象研、遠藤洋和ほか、2016年)
http://wind.gp.tohoku.ac.jp/yamase/reports/data12/Endo_160310.pdf
・気候変動に伴うアジア・太平洋地域における自然災害の分析と脆弱性への影響を踏まえた外交政策の分析・立案(外務省、2017)
https://www.mofa.go.jp/mofaj/press/release/press4_004998.html

○地球温暖化による穀物生産被害は過去30年間で平均すると世界全体で年間424億ドルと推定(農研機構 飯泉、国環研、気象研)
https://www.naro.affrc.go.jp/publicity_report/press/laboratory/niaes/120453.html
世界の穀物生産に対するこれまでの気候変化影響(飯泉仁之直、60km、d4PDFのバイアス補正、2018)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Iizumi.pdf

○海岸線の複雑度を考慮した高潮偏差の誤差補正とd4PDFを用いた高潮偏差の長期評価(京大、梁 靖雅ほか、2017年)
https://www.jstage.jst.go.jp/article/kaigan/73/2/73_I_223/_pdf/-char/ja
・大阪府河川整備審議会 平成29年度高潮専門部会資料(2018-2019)
本ブログ内https://earthsimulation.blogspot.com/2019/09/blog-post_28.html
・全球60kmAGCMを用いた大規模アンサンブル気候予測実験とこれを用いた高潮長期評価(森信人ほか、2016)
https://www.jstage.jst.go.jp/article/kaigan/72/2/72_I_1471/_pdf

○アンサンブルデータの効率的ダウンスケーリング手法の開発(吉村圭ほか、2016)
http://isotope.iis.u-tokyo.ac.jp/~kei/tmp/161227SouseiC_Unei_Yoshimura_v3.pptx

○20kmメッシュd4PDF降水データの確率水文量のバイアス補正に関する検討
https://www.jstage.jst.go.jp/article/jshwr/30/0/30_65/_pdf/-char/ja


d4PDF+力学的ダウンスケーリング
○北海道における気候変動に伴う洪水リスク(北大、室蘭工大)
本ブログ内https://earthsimulation.blogspot.com/2019/09/blog-post_10.html

○地球温暖化による降雨特性の変化が土砂災害発生頻度へ与える影響分析(国総研、野田智之ほか、2019)
http://www.jsece.or.jp/event/conf/abstract/2019/pdf/377.pdf

○岐阜を対象とした豪雨事例解析と適応策に向けた展開(岐阜大、原田守啓ほか、2018)
http://www.miroc-gcm.jp/~pub/d4PDF/20181010WS/Harada.pdf
・d4PDFデータの妥当性-“MRI-AGCM60/20のパフォーマンス”(統合プロ)/“NHRCMによるダウンスケーリングのポテンシャル”(SI-CAT)(2018年)
https://www.mlit.go.jp/river/shinngikai_blog/chisui_kentoukai/dai02kai/dai02kai_siryou3-3.pdf
・力学モデルによる近未来気候の超高解像度ダウンスケールシミュレーション(岐阜大、丸山靖幸ほか、5km、2017年)
https://www.jamstec.go.jp/ceist/j/publication/annual/annual2017/pdf/2project/chapter1/1-8_yamazaki.pdf

○SI-CATプロジェクトにおける力学DSデータセットの構築(東北大 佐々井崇博、気象研、JAMSTEC。岐阜県の雨、長野県の雪、NHRCM)
http://wind.gp.tohoku.ac.jp/yamase/reports/data14/sasai.pdf
・5km 地域気候アンサンブル実験によって計算された西日本から東北日本おける強い降雪発生時の総観場の特徴(気象研、川瀬宏明ほか、2018年)
https://www.jstage.jst.go.jp/article/jmsj/96/2/96_2018-022/_supplement/_download/96_2018-022_1.pdf
・力学モデルによる近未来気候の超高解像度ダウンスケールシミュレーション
https://www.jamstec.go.jp/ceist/j/publication/annual/annual2016/pdf/2project/chapter1/1-9_yamazaki.pdf

○気候変動を踏まえた治水計画に係る技術検討会(国交省、2019年)
本ブログ内https://earthsimulation.blogspot.com/2019/09/blog-post_21.html

○領域気候モデルとd4PDFを用いた梅雨豪雨の将来変化に関するマルチスケール解析(京大防災研、中北英一ほか、2018年、5km、2kmRCMを使用)
https://www.dpri.kyoto-u.ac.jp/nenpo/no61/ronbunB/a61b0p28.pdf

○適応としての治水計画(国交省、2019)
http://togo-d.jp/assets/files/togo-d/20190524/10%E6%A3%AE%E6%9C%AC.pdf

Monday, November 19, 2018

気象APIの実例

●livedoor天気情報
http://weather.livedoor.com/weather_hacks/webservice
http://weather.livedoor.com/forecast/webservice/json/v1
http://weather.livedoor.com/forecast/webservice/json/v1?city=400040
JSON(xml)

●NOAA Climate Data Online: Web Services Documentation
https://www.ncdc.noaa.gov/cdo-web/webservices/v2#gettingStarted
無料、RESTful データサービスがある。

●Planet OS
https://planetos.com/

●OpenWeatherMap
本ブログ内https://earthsimulation.blogspot.com/2018/03/openweathermap.html

世界気象通信網(GTS)

世界気象監視計画WWWは全球監視システムGOS、全球通信システムGTS、全球データ処理・予報システムGDPFS、WWWデータ寒地WWWDM等からなる。


気象情報通信
http://www.kma.go.kr/jpn/biz/ict_01.jsp

海洋観測データの収集について
https://ds.data.jma.go.jp/gmd/goos/data/exchange/index.html

インマルサット及びインターネット経由で気象データを収集。

Tuesday, November 13, 2018

ミドルウェア

●ミドルウェアの種類と役割、その特徴
http://ossforum.jp/node/513

サーバの種類ミドルウェアOSSの例
WebサーバApache HTTP Server
アプリケーションサーバJBoss、Tomcat
データベース管理サーバMySQL, PostgreSQL, Firebird

●新人エンジニアのためのインフラ入門 ーBFT道場 Think IT支部 記事一覧
・ITインフラの全体像を理解しよう
https://thinkit.co.jp/article/11526

・インフラの中核を担う「サーバ」を知ろう
https://thinkit.co.jp/article/11606

・サーバと双璧をなすインフラの中核「ネットワーク」を知ろう
https://thinkit.co.jp/article/11674
 階層構造
アプリケーション層HTTP, SMTP, SSH
トランスポート層TCP, UDP
インターネット層IP
ネットワークインタフェース層イーサネット

・システム構築の主流「仮想化」と「クラウド」を知ろう
https://thinkit.co.jp/article/11743

・ミドルウェア(Web、Ap、DB)について知ろう 2017
https://thinkit.co.jp/article/11837
 ミドルウェアの分類
WebApache HTTP Server, IIS, Nginx
APCosminexus Applicatin Server, JBoss, Tomcat, WebLogic, WebSphere Application Server
DBDB2, MySQL, Oracle Database, PostgreSQL, SQLServer
バックアップArcserve, Backup Exec, NetBackup, NetVault
ジョブ運用JP1, Senju, SystemWalker, Tivoli, WebSAM
監視Hinemos, JP1, OpenView, Senju, SystemWalker, Tivoli, WebSAM, ZABBIX
高可用性クラスタCLUSTERPRO, HACMP, HAモニタ, HeartBeat, LifeKeeper, MSCS, PRIMECLUSTER, ServiceGuard, VCS

・ミドルウェア(システム運用)について知ろう 2017
https://thinkit.co.jp/article/11934

・構築とテストについて知ろう
https://thinkit.co.jp/article/12056

・インフラエンジニアの仕事について知ろう
https://thinkit.co.jp/article/12309

・セキュリティについて知ろうa>
https://thinkit.co.jp/article/12836

・プログラミングについて知ろう
https://thinkit.co.jp/article/12949

Monday, November 12, 2018

ファイアウォール

ウィキペディア

ファイアウォールとは?
 ポート(0~65535番)を制御する仕組み。インターネットと社内ネットワークの間を出入りするパケットの送信元とあて先の情報を見て判断している。アプリケーションゲートウェイ型ではデータの中身をデータベースと照らし合わせる。

(ファイアウォールの弱点)
・ファイアーウォールが防げるのは、ハッカー や ワーム による攻撃に限られる。一方、ウイルスからコンピュータを守るにはウイルス対策ソフトが必要。
・サーバの欠陥であるバグを狙った攻撃からは守れない。
・内部からの攻撃からは守れない。
・設定ミスがあると守れない。
・バッファオーバフロー攻撃、DoS攻撃、DDおS攻撃からは守れない。(攻撃を検知してIDSやIPSなどの装置と組み合わせる。)

(ファイアウォールの種類)
パケットフィルタ型(狭義のファイアウォール)
 パケットのヘッダ(IPアドレスとPort番号)を解析して通過させるか判断する。基本的にはレイヤ3・ネットワーク層で通信制御を判断するが、フィルタの種類によってはレイヤ4・トランスポート層のヘッダも参照する。
 ウイルスやスパムにはお手上げ。
 静的フィルタリングとダイナミックパケットフィルタリングがある。

サーキットレベルゲートウェイ
 TCP/IPなどのレイヤ4・トランスポート層のレベルで通信を代替。
トランスポート層のファイアウォール。

アプリケーションゲートウェイ型(プロキシサーバ)
 プロキシサーバで社内ネットワークとインタネットの間を中継する方式。レイヤ7のHTTP や FTP といった、アプリケーション層で外部との通信を代替し、制御する。
ただしそうするには、アプリケーションプロトコルごとに個別のゲートウェイプログラムが必要となる。

ステートフル(パケット)インスペクション型

次世代型


ファイアウォールとは | セキュリティ基礎知識・仕組み・種類を初心者向けに解説
https://boxil.jp/mag/a1288/

5分で絶対に分かるファイアウォール
http://www.atmarkit.co.jp/ait/articles/0203/01/news002.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_2.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_3.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_4.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_5.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_6.html
http://www.atmarkit.co.jp/ait/articles/0203/01/news002_7.html

ファイアーウォールが どんなものか知っていますか? 2016(後半は要登録)
https://korobehashire.blog.fc2.com/blog-entry-431.html

不正アクセスを防ぐファイアウォールの仕組み 2009
http://ascii.jp/elem/000/000/447/447615/
http://ascii.jp/elem/000/000/447/447615/index-2.html
http://ascii.jp/elem/000/000/447/447615/index-3.html
http://ascii.jp/elem/000/000/447/447615/index-4.html
http://ascii.jp/elem/000/000/447/447615/index-5.html
http://ascii.jp/elem/000/000/447/447615/index-6.html

セキュリティの基本:ポートとポートスキャンとは?
https://www.linuxacademy.ne.jp/lablog/infrastructure/144/

Thursday, November 8, 2018

Apache/ アパッチ

Apache(Apache Software Foundation)はOpen Source Software Foundationの一つ。https://www.apache.org/

最も普及しているWebサーバソフトウェアの名前がApache。実はApache HTTP Server(ウィキペディア)が正式名。ApacheライセンスのHTTP Servar softwareのこと。


サーバソフトウェアとWebサーバソフト

サーバソフトウェア 【 server software 】 サーバソフト(IT用語辞典)2015
http://e-words.jp/w/%E3%82%B5%E3%83%BC%E3%83%90%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2.html

クライアントソフトウェアと対になってる。

サーバソフトウェアを稼働させるのがサーバOS。

●Webサーバ
主なWebサーバソフト
・Internet Information Service(マイクロソフト)
・エンジンエックス(nignx)
・Apache HTTP Server(ApacheライセンスのオープンソースのWebサーバソフト。OSに依存しない。)単にApacheと呼ぶことが多いかも。
公式サイト:https://httpd.apache.org/
世界で最も人気のwebサーバーソフト、Apacheとは 2017
https://ec-orange.jp/ec-media/?p=17628
代表的なWebサーバソフトウェア 
http://www.fusionia.jp/intern/blog/677.html
Apacheだけじゃない。Webサーバーソフトウエアのトレンド 2016
https://persol-tech-s.co.jp/hatalabo/it_engineer/215-2.html

●ファイルサーバ(ファイル共有ソフトが起動している)

●データベースサーバ

●DHCPサーバ(ネットワーク上にある機器にIPアドレスを自動的に割り振るソフトが起動している)

サーバーとは何ぞや?
http://www.24recommend.com/file-server/file-serverl.html

本ブログ内:サーバー
https://earthsimulation.blogspot.com/2018/10/blog-post_30.html

サーバーのハッキングと改竄

手法サーバ側対策クライアント側対策
スヌープ攻撃(通信傍受)ユーザ情報を送受信するサーバはhttpsに 
中間者攻撃(不正ログイン、偽サイト、コンピュータウィルス)ユーザ認証の二重認証化、アンチウィルスソフト
インジェクション攻撃セキュリティホールとなるミドルウェアを置かない、静的サイト 
バッファーオーバーフロー??? 
本ブログ内:ファイアウォール
https://earthsimulation.blogspot.com/2018/11/blog-post_12.html
本ブログ内:インジェクション攻撃
https://earthsimulation.blogspot.com/2018/12/blog-post.html

●不正アクセスの対策!手口と事例を知って被害を防ぐ 2016
https://securitynavi.jp/1010
・不正ログインでの攻撃方法
 - 総当たり攻撃(ブルートフォースアタック)
 - 辞書攻撃
 - パスワードリスト攻撃(不正ログイン後)
 - コンピュータウイルス
・脆弱性を突いた不正アクセスの方法
 - SQLインジェクション
 - OSコマンドインジェクション
 - クロスサイトスクリプティング(不正なURLを踏ませる)
 - バッファオーナーフロー
 - セッションハイジャック(通信内容の傍受)

●ネットワーク通信のセキュリティ機能
https://developer.apple.com/jp/documentation/NetworkingInternetWeb/Conceptual/NetworkingOverview/SecureNetworking/SecureNetworking.html

・スヌープ攻撃(伝送中のデータを覗き見る)
・中間者攻撃(プログラムとサーバの間に第三者が介在)
 - 偽サーバによるスプーフィング、フィッシング
 - タンベリング
 - 認証情報を盗み見るセッションハイジャック
・インジェクション攻撃(巧妙に作ったデータを渡して、意図せぬコマンドを実行させる)
・バッファオーバーフロー、数値オーバーフロー(巧妙に作ったデータを渡して、任意のコードを実行させたり、秘密情報を漏えいさせる。)

●ほとんどのセキュリティ問題はインジェクション問題 – インジェクションパターンとして理解すると簡単 2018
https://blog.ohgaki.net/almost-all-security-issues-are-injections
(直接インジェクション)
・強制ブラウズ:特定のリソースに直接アクセスできる。
・認証漏れ:本来認証機能で保護されるべきリソースに保護されずにアクセスできる。
・直接SQLインジェクション
・直接コマンド実行
・DoS(サービス不能攻撃)

(間接インジェクション)
・クロスサイトスクリプティング:ブラウズを経由してインジェクション
・クロスサイトリクエストフォージェリー:認証済みブラウザのセッションを経由してアクセス
・間接SQLインジェクション:システムに保存されたデータを経由
・間接コマンド実行
・権限昇格
・XXE
・DoS

(その他)
・レースコンディション

●またも新手、サイバー対策、コストを抑える5つの掟 2018
https://www.nikkei.com/article/DGXMZO36552980W8A011C1000000/
 ビジネスメール詐欺
 マイニングマルウェア
(クラウド)
・AWS-WAF(検知・検疫)
・セキュリティグループ
(インターネット)
・SOC(Security Operation Center)
・CASB(検知・検疫)
(社内)
・ファイアウォール、IDS/IPS(入口・出口対策)
・プロキシサーバ
・EDRサーバ(検知・検疫)
・サンドボックス(検知・検疫)
・パーソナルファイアウォール(入口・出口対策)、ウィルス対策ソフト、管理エージェント
・認証サーバ
・ログ分析製品
(DMZ)
・脆弱性診断サービス
・Webアプリケーションファイアウォール

●情報セキュリティ(IPAセキュア・プログラミング講座)
https://www.ipa.go.jp/security/awareness/vendor/programming/

●APIのセキュリティ対策をガートナーが解説、具体的に押さえるべき3つのポイントとは(後編は要会員登録)
https://www.sbbit.jp/article/cont1/35205

●Webサーバーがハックされたときにやるべきこと 2015
https://qiita.com/ninoseki/items/a60459a76def17a47d0d
・事前の準備
・改竄の検知
・改竄検知後の対策
 - 別サイトへのリダイレクト
 - ・・・・・・・・

WebページとWebサーバとTCP/IPプロトコル

WebページはWebサーバに置かれている。WebページをさまざななOSのPCやスマホで閲覧できるのは、TCP/IPプロトコルという通信規約で結ばれているから。

TCP/IPプロトコルには
・HTTP
・SSL(暗号化通信)
・POP3(メール受信)/SMTP(メール送信)
・FTP(ファイル転送)
・SMB(ネットワーク内でのプリンタ等の共有)/DGCP(ネットワーク内でのプライベートIPアドレスの割り当て)
・TCP(コネクション型データ送受信)/UDP(コネクションレス型通信。IP電話、Web会議、チャット、動画ストリーミングで使用)
・IP(データ・パケットを指定場所に届ける)/OPsec(左記を暗号化して届ける。VPNなど)
・Ethernet(LAN接続)/PPPoE(Ethernet+PPPプロトコルで通信。ブロードバンド接続等)

プロトコルには階層があって
階層TCP/IPプロトコル
アプリケーション層(アプリケーション層、プレゼンテーション層、セッション層)DNMP、DNS、RIP、HTTP、POP3、SMTP、FTP、DHCP、Telnetブラウザ起動 URL入力 HTTPリクエスト
トランスポート層TCP、UDP送信元ポート・送信先ポート番号指定
インターネット層(ネットワーク層)IP、IPsec、ARP、ICMP送信元、送信先IPアドレス指定
ネットワークインターフェース層(データリンク層、物理層)LAN規格:Ethernet、TokenRing、FDDI
WAN規格:ISDN、PPP、PPPoE
ビット列・電気信号に変え LANで運ぶ
TCP/IPプロトコルとは
https://www.pc-master.jp/internet/tcp-ip-protocol.html
SSL/TLSは何層? 2015
http://d.hatena.ne.jp/takehikom/20150803/1438601460

初心者のためのネットワーク技術(ITBOOK)
https://www.itbook.info/cat/network.html
  >データの流れ
  https://www.itbook.info/study/p42.html

●TCP/IP通信プロトコルとOSI参照モデルの関係
http://manabu.quu.cc/up/6/e62310.htm

●リトライ! 触って学ぶTCP/IP 2015
http://www.atmarkit.co.jp/ait/articles/1507/31/news004.html
http://www.atmarkit.co.jp/ait/articles/1508/31/news016.html
http://www.atmarkit.co.jp/ait/articles/1508/31/news016_2.html
http://www.atmarkit.co.jp/ait/articles/1508/31/news016_3.html
http://www.atmarkit.co.jp/ait/articles/1608/10/news021.html
http://www.atmarkit.co.jp/ait/articles/1608/10/news021_2.html

●データの流れ(ネットワークエンジニアを目指して)
https://www.itbook.info/study/p42.html


Tuesday, November 6, 2018

HTTPとHTTPS

今なぜHTTPS化なのか?インターネットの信頼性のために、技術者が知っておきたいTLSの歴史と技術背景 2018
https://employment.en-japan.com/engineerhub/entry/2018/02/14/110000
超入門HTTPS:第2回 HTTPSの詳細 2017
http://www.atmarkit.co.jp/ait/articles/1704/13/news030.html
http://www.atmarkit.co.jp/ait/articles/1704/13/news030_2.html

SSLとは暗号化通信のこと。サーバー上のファイルは暗号化されない。

常時SSLとは、サイト全体をSSL化するということ。もしhttp://にアクセスが来たら、強制的にhttps://にリダイレクトしてしまう。そうすれば、Chromeで「保護されていません」という警告は出ない。

利点はhttp/2プロトコルが利用でき、Webページの表示が高速化される。

HTTPS化するためには
・SSLサーバ証明書を購入する。
・SSLサーバ証明書をサーバにインストールする。
・公開しているサイトのデータへの内部リンクのhttpをhttpsに置き換える。(相対パスにしてあれば必要ない)
・プラグインなどHTTPの記述があるコードをHTTPS対応コードに変更する。
・HTTPからHTTPSへのリダイレクトの設定をする。
・GoogleアナリティクスやSearch Consoleの再登録を行う。
・その他ズラズラ・・・。

HTTPから完全HTTPS化する方法の作業手順
https://www.nkshopping.biz/index.php?HTTP%E3%81%8B%E3%82%89%E5%AE%8C%E5%85%A8HTTPS%E5%8C%96%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95%E3%81%AE%E4%BD%9C%E6%A5%AD%E9%A0%85%E7%9B%AE

Wednesday, October 31, 2018

コネクション型通信とソケット通信

●総論
・初心者にもわかる【TCP/UDP】~違いや共通点、使い分け、ポート番号について~
https://milestone-of-se.nesuke.com/nw-basic/tcp-udp/tcp-udp-summary/

●コネクション型通信(ストリーム型通信)
・コネクション型とコネクションレス型通信
http://www.fc-lab.com/network/program/berkley/connection.html
コネクション型プロトコル:TCP/IPのうちTCP

●ソケット通信(TCP/IP通信)
・知ったかぶりをしていたソケット通信の基礎を改めて学んでみる
https://qiita.com/megadreams14/items/32a3eed4661e55419e1c
・Pythonでソケット通信を行う方法【初心者向け】
https://techacademy.jp/magazine/19147

プログラムの世界とTCP/IPの世界を結ぶ特別な出入口がソケット。
TCP/IP通信をソケット通信と呼ぶこともある。

クライアントプログラム
http://research.nii.ac.jp/~ichiro/syspro98/client.html

コネクション型通信:サーバプログラムの作成
http://research.nii.ac.jp/~ichiro/syspro98/server.html

●コネクションレス型通信(データグラム型通信)
コネクションレス型プロトコル:TCP/IPのうちIP.UDP
ブロードキャスト、IP電話、Web会議、チャット、動画ストリーミングで使用されている。

・一斉同報やストリーミングはUDPならではの通信方法
https://tech.nikkeibp.co.jp/it/article/COLUMN/20070713/277538/
・コネクションレス型ソケットの作成
https://www.ibm.com/support/knowledgecenter/ja/ssw_ibm_i_73/rzab6/connectionless.htm
・TCP/IP - UDP
https://www.infraexpert.com/study/tcpip12.html

●ネットワーク通信について
https://developer.apple.com/jp/documentation/NetworkingInternetWeb/Conceptual/NetworkingOverview/Introduction/Introduction.html

Tuesday, October 30, 2018

データベースソフト

オラクル、SQLサーバ、MySQL、インフォミックスなどがある。

>データベース・インタフェース
https://rfs.jp/sb/perl/06/01-7.html

サーバー

ウェブの仕組み:
① クライアント側のブラウザにURLを入力すると、HTTPプロトコルでリクエストが送られる。
② Webサーバはリクエストを受け付けてリクエストされたURLのHTTPページを返す(レスポンス)。
③ クライアント側のブラウザは返ってきたHTTPページを表示する。

サーバーとは?:PCにウェブサイトを表示するためのサーバーソフトがインストールされているもの。
① ブラウザから、開きたいサイトのアドレス(http://~)を送ると、
② サーバの中に入っているWebサーバのソフトウェアが
 a. パース:送られてきたリクエストを解釈する 
 b. データの取得:送られてきたURIを元に必要なデータを取りに行く
 c. レスポンス文字列の作成
して、Webサイト表示に必要なデータをクライアントに送り返す。
③ クライアント側のブラウザに表示する。

サーバーとは 
https://www.seohacks.net/basic/terms/server/

サーバって何?初心者でもわかる4つのサーバの種類 2018
https://www.marketingbank.jp/special/cat02/21.php

今更聞けない!Webサーバーの仕組みと構築方法 2016
https://eng-entrance.com/web-server-mechanism

機械系の学生へ向けたサーバー入門 2016
http://kengo700.hatenablog.com/entry/2016/02/25/%E6%A9%9F%E6%A2%B0%E7%B3%BB%E3%81%AE%E5%AD%A6%E7%94%9F%E3%81%B8%E5%90%91%E3%81%91%E3%81%9F%E3%82%B5%E3%83%BC%E3%83%90%E3%83%BC%E5%85%A5%E9%96%80

超絶初心者のためのサーバとクライアントの話 2016
https://qiita.com/shuntaro_tamura/items/ae55b99deb9e2a170754

【初心者向け簡単解説】サーバとは? 2017
https://eng-entrance.com/linux-server

NOAAのScience On a Sphere

https://sos.noaa.gov/What_is_SOS/

FTPサーバ
ftp://public.sos.noaa.gov/
・天文
・・・・
・大気
オーロラ、カリスト、セレス、シャロン、ディオン、月、日食、エンケラドゥス、エウロパ、ガニメデ、ハッブル、ヤペタス、イオ、木星、ケプラー、Iro、月食、火星、水星、天の川、ミマス、海王星、Phoebe、天王星、Rhes、土星、SOHO、太陽系、テシス、タイタン、Trappist、ウラヌス、金星、WMAP、X線太陽
・データベース
一酸化炭素、ハリケーン、エアロゾル、交通、衛星、Aqua、炭素フラックス、FIM、化石燃料、福島、静止衛星、Harvey、Iruma、Isaac、ISS起動、陸の気温、雷、ITG Vaisala、二酸化窒素、NASA衛星、NCCSモデル、NOAA衛星、Pclim、POES衛星、再解析、Sandy、太陽同期衛星、気温偏差、熱帯Widening、台風Haiyan、火山灰、水蒸気
・Extras
・・・・
・2016年1月の嵐
・・・・
・陸域
農業、鳥、Blue Marble、Dams、昼と夜、地震、時期、ETOPO1、2、火災、洪水、食料、森林、地磁気移動、植生、GRACE、灰色の地球、Hot Topo、IRSAT夜の明かり、東日本大震災、Koppen Climate、陸面被覆、土地の生産高、緯度経度、磁気傾斜、夜空、原発と地震、Pantropicalバイオマス、プレート運動、川の洪水、海底の年齢、地震波、地表の温度、Top Quakes、火山噴火
・Live program
・・・・
・モデル
・・・・
・海洋
海氷、海面上昇、ウミガメの追跡、ISS、動物の追跡、Argoブイ、Atl Turtle、ブイの位置、Catch Model、クロロフィル、Dartブイ、漂流ブイ、ECCO2海面水温、エルニーニョ、GFDLの海面水温、グリーンランドの融解、インド洋津波、東日本大震災の津波、Mexico Turtle、MJO、MODISの海面水温、NASAのSpeedとSST、海洋酸性化、海洋深層循環、Ocean Drain、油流出、Pac Turtle、植物プランクトン、PR津波、サンゴ礁のリスク、海水順、海面高度、海氷の放射、SeaWiFS、サメ、船の航跡、輸出入、生物多様性、SSS、津波の歴史、風ベクトル、Vent Discoveriesアニメ、渦度、波浪
・プレイリスト
・・・・
・RT
・・・・
・Temporary
・・・・

Monday, October 29, 2018

ダジック・アース

四次元デジタル地球儀
https://www.dagik.net/

ウェブブラウザ版
http://dagik.org/dow/

気象・海洋
雲の動き(春、梅雨、夏、冬)、台風(日本、南半球)、大雨、ひまわり、気温、風速、オゾン、夜光雲、エルニーニョ・ラニーニャ、海水塩分、しずく(積雪深、海氷密接度・海面水温)
地殻・地球内部
森林、土壌水分、積雪、行程、ジオイド・重力異常、プイレート境界、大陸移動、地磁気異常、地震、地震はトモグラフィ、街灯り、昼と夜、太陽の動き、日食、GNSS衛星の動き、SLR衛星の動き
地球・月・惑星
地球、月、水星、金星、火星、木星、土星、天王星、海王星、冥王星、星の配置・星座
ジオ・スペース
オーロラ、大気光、地震と電離層、磁場、太陽
その他
日本最古の地球儀、ボール、資源




地球流体電脳倶楽部

https://www.gfd-dennou.org/
GFD Dennou Club

Web API

Web API: API提供者とAPI利用者とのやりとりをHTTP/HTTPSベースで実現するAPIのこと。ネットワーク越しに利用できる関数。URLが関数名、引数を渡すことで結果が変化する。
外部プログラム=ブラウザ(JavaScript)やネイティブアプリなどからのHTTP通信によるアクセスでは、サーバー上のデータに直接アクセスできない。Web APIは外部プログラムとサーバーとの間を仲介するが、Web APIが提供する機能を利用すること以外はできない。
Web APIはHTTPプロトコルによるリクエストとレスポンスでやりとりする。
① サーバ側ではリソースごとにエンドポイントがURLで割り当てられている。


・Web API入門 第1回 APIの概要とデータの取得(第2回以降は要購読)
https://app.codegrid.net/entry/2018-web-api-1
 Web APIはhtmlで書かれていて、アクセス先(リソース)毎のURI(エンドポイント)が書かれている。

・Web APIとは何なのか 2017
https://qiita.com/NagaokaKenichi/items/df4c8455ab527aeacf02
・APIとは何か? Web APIとの違い、利用者のタスクを解説 (1/2) 2018(続きは要会員登録。有料)
http://techtarget.itmedia.co.jp/tt/news/1806/13/news01.html
・5分で分かるWebAPI 2015
https://developer.ntt.com/ja/blog/5%E5%88%86%E3%81%A7%E5%88%86%E3%81%8B%E3%82%8BWebAPI
・第1回 APIの概要とデータの取得(続きは要会員登録)2018
https://app.codegrid.net/entry/2018-web-api-1
・APIとは? 2016
https://qiita.com/jonathanh/items/6394ffb5b5ad86ae914f
・Web API入門 2015(SlideShare)
https://www.slideshare.net/tmasao/web-api-49080729
・5分で絶対に分かるAPI設計の考え方とポイント(続きは要会員登録。無料)
http://www.atmarkit.co.jp/ait/articles/1511/19/news022.html
 Web APIの代表的な実装方式として、REST(REpresentational State Transfer)とSOAPが存在するが、APIといえばRESTというぐらいにRESTが主流。
レスポンスはかつてXMLだったがJSONがよい。

・WebAPIについての説明 2018
https://qiita.com/busyoumono99/items/9b5ffd35dd521bafce47
 関数がURLになっていて、http://関数のURL/search?キーKey=引数Value
をブラウザ上で実行すると、JSON又はXMLで答えが返ってくる。

・HTMLでWeb APIをつくる 2014
https://qiita.com/tkawa/items/0efd49ad07d39531a520

・【徹底解説】Web APIの使い方まとめ 2017
https://itpropartners.com/blog/8546/

認証付きWeb API
認証を含む API 開発で検討すべきこと
・Web API認証について
http://blog.virtual-tech.net/2014/01/web-api.html
 基本、認証は送信先URLが分かるようにブラウザで行うべき
・APIのセキュリティ対策をガートナーが解説、具体的に押さえるべき3つのポイントとは 2018(続きは要会員登録。無料)
https://www.sbbit.jp/article/cont1/35205
・Web APIアクセス制御の最適解 2016(Slide Share)
https://www.slideshare.net/daisuke_m/spring-day-2016-web-api

Web APIの脆弱性
第6回 WebAPI,認証APIのセキュリティ 2007 http://gihyo.jp/dev/serial/01/web20sec/0006


Web APIを活用した農業環境データベースシステムの横断利用
本ブログ内https://earthsimulation.blogspot.com/2018/08/blog-post_28.html

生物分野におけるWeb APIの Web APIの適用
https://www.jstage.jst.go.jp/article/jsik/19/2/19_19-86/_pdf

Amazon S3 REST API

Amazon S3(Simple Strage Service)とはバックアップ/静的コンテンツ向けストレージ。月額:約4円($0.033)/GBだが大きな堅牢性。容量制限なし。ただし1ファイル:1TBまで。

AWS再入門 Amazon S3編
https://dev.classmethod.jp/cloud/aws/cm-advent-calendar-2015-aws-re-entering-s3/

UKのJASMINはAWS S3とOPeNDAPを用意している。

AWS S3のアクセス管理
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/s3-access-control.html


Thursday, October 25, 2018

JASMIN

NERCが設立した環境データのmulti-petabyte data analysis facility
CEDA data center(NERCの執行機関)に置かれている。
http://www.jasmin.ac.uk/

JASMIN and the adoption of cloud-native architecture for managing data and compute at scale (2017)
https://www.ecmwf.int/sites/default/files/elibrary/2017/17148-jasmin-and-adoption-cloud-native-architecture-managing-data-and-compute-scale.pdf

JASMIN and the role of Cloud Computing in realising a Big Data facility for the Environmental Sciences (2017)
https://presentations.copernicus.org/EMS2017-332_presentation.pdf

The JASMIN Cloud (2014)
https://presentations.copernicus.org/EGU2014-10820_presentation.pdf

Storing and manipulating environmental big datawith JASMIN (2013, ResearchGate)
https://www.researchgate.net/publication/260979040_Storing_and_manipulating_environmental_big_data_with_JASMIN

Copernicus
Centre for Environmental Data Archival (CEDA)
http://www.ceda.ac.uk/
CLIPC (Climate Information Platform for Copernicus)
http://www.ceda.ac.uk/projects/clipc/
http://www.clipc.eu/



Thursday, October 11, 2018

ECMWFのTOS

Users accessing or using the ECMWF computing services do so under the terms and conditions detailed on this page.

Conditions of access to the ECMWF computing services
In accessing or using ECMWF computing services users agree that they will;
- use their access solely in accordance with Article 2(2)(e) of the ECMWF Convention:
“The objectives of the Centre shall be: … 
e) to make available to the Member States for their research, priority being given to the field of numerical weather forecasting, a sufficient proportion of its computing capacity, such proportion being determined by the Council;”

- use their access in accordance with Annex A.3 of the Centre's Computer Security Policy, as laid down in ECMWF Computer Bulletin B0.2/3 which states;
"Annex 3 Passwords and smart cards [tokens]
> Passwords and smart cards protect the Centre's computer systems against unauthorised access. Smart cards are personal access tokens and, like user identifiers, are issued to users for their sole use. The underlying authentication process is based on the physical possession of these cards; hence smart cards must be kept securely (similar to credit cards).
> Login passwords and the PINs of smart cards must be kept confidential and must not be disclosed to other persons 
> All users shall: 
* employ non-trivial passwords and PINs; .... 
* safeguard smart cards issued to them against physical access by other persons;
* change passwords or PINs whenever there is any indication that the passwords or PINs have been compromised; 
* report lost or stolen smart cards without delay. Member State users should report lost or stolen cards to ..... the Call Desk at ECMWF"

- use their access only for the purpose for which access to the ECMWF computing services has been granted;

- use the user identifier and/or security token for their own sole use and will not make it available to another person under any circumstances;

- return any token they might have been given to the appropriate Member or Co-operating State Computing Representative when access to the token-protected computing services at ECMWF is no longer required.

In addition to above agreement users understand that their token will be enabled only when the token declaration has been signed and returned to the appropriate Member or Co-operating State Computing Representative or, for ECMWF personnel ONLY, to the relevant member of staff at ECMWF. Any token received remains the property of ECMWF and may be revoked at any time.

Monday, October 8, 2018

ユーザ認証API、ソーシャルログイン

ユーザー認証API
モバイルアプリのユーザ認証方法についてまとめてみた 2018-10-08
https://qiita.com/ledmonster/items/0ee1e757af231aa927b1

Web API認証について 2014年1月14日
http://blog.virtual-tech.net/2014/01/web-api.html

ここが危ない!Web2.0のセキュリティ 2007年9月5日
http://gihyo.jp/dev/serial/01/web20sec/0006

2段階認証:ID/PWのほか、いつもと違うデバイスからアクセスした場合に別の入力を求める。

「認証」の基礎知識(7):ワンタイムパスワードの方式 2017
https://www.segunabe.com/2017/05/16/auth_info07/

「HTTP」の仕組みをおさらいしよう(1/4)-認証とは?
http://www.atmarkit.co.jp/ait/articles/1608/10/news021.html
http://www.atmarkit.co.jp/ait/articles/1608/10/news021.html
① ブラウザにURLを入力すると、WebサーバにHTTPリクエストが送られる。そこに認証が設定されていると、サーバが要求する認証の種類をクライアントに通知する。
② ブラウザは認証ダイアログを表示する。
③ ブラウザは入力されたID/PWから認証情報を生成し、WebサーバにHTTPリクエストを送る。
④ ID/PWが正しければ、Webサーバはリクエスト内容を返すので、ブラウザはその内容を表示する。
HTTPで利用できる認証スキーム;Basic認証(IDとPWを繋いでBase64変換する)とダイジェスト認証(PWを送らない)がある。

ソーシャルログイン
Google sign in:https://developers.google.com/identity/
Facebook sign in: https://developers.facebook.com/docs/facebook-login/multiple-providers/

Amazon、Twitter、Yahoo:独自
LinkedIn、Instagram:FB sign up
ACADEMIA:Google sign up、FB sign up
ResearchGate:LinkedIn、FB sign up
Pinterest:Google sign up、FB sign up
YouTube:Google sign up
Skype:Microsoft sign up

Facebookによるソーシャルログインの問題点
https://japanese.engadget.com/2018/04/20/facebook/

ソーシャルログイン導入サービス
https://socialplus.jp/tour/
Facebook, Line, Google+, Twitter, Yahoo, 楽天など

ORCIDによるサインイン(ソーシャルサインインに似ている)
https://members.orcid.org/api/integrate/orcid-sign-in




Thursday, October 4, 2018

静的ウェブサーバと動的ウェブサーバ

静的ウェブサーバ:HTMLとCSSとJSファイルだけを元に表示されるウェブサーバ。
動的ウェブサーバ:リアルタイムでデータベースにアクセスしてウェブサイトを組み立てるウェブサーバ。

静的サイト
静的コンテンツとWebアプリケーションの配置を切り分ける
http://itdoc.hitachi.co.jp/manuals/link/cosmi_v0870/APSE/EU030209.HTM

脱WordPress!静的サイトの特徴やメリットなどのまとめ
https://webdesign-trends.net/entry/2076

静的サイトと動的サイトの違いは何?いまさら聞けないIT用語 2018
https://seotaisaku.co/glossary-news/what-difference-of-static-sites-and-dynamic-sites-too-late-it-terms-not-hear

セキュリティに強い静的配信型CMS
https://www.frameworks.co.jp/static-site-generator-cms.html

静的サイトが今、再注目されています!!
https://zeroichi.biz/news/static-site-revival/
 一番攻撃されやすいコードレイヤーとスクリプトエンジンレイヤーがそもそもない。その次に攻撃されやすいところはサービスレイヤーだが、静的サイトはFTPを使わないサービスもあるので、さらにセキュリティが強化される。

動的サイト
・以下の言語や環境はセキュリティホールになりうる。
Parl(cgi)、PHP、ASP、ASP.NET、Java、JavaScriptなど
・以下のCMS(Contents Management System)もセキュリティホールになりうる。
XOOPS、WordPress、PikiWiki、OpenPNE、Moodleほか
(HTMLやCSSは静的サイト)

WWWの基本技術・静的コンテンツと動的コンテンツ
http://juen-cs.dl.juen.ac.jp/html/www/005/

静的サイトのアクセス制御
S3の静的ホスティングで内部確認用に使える認証を設定する 2014
https://www.monster-dive.com/blog/server_network/20140404_000145.php

AWSを使ってみよう!(その18) - WEBサイト(S3)にアクセス制限 2017
https://www.pressmantech.com/tech/aws/4122

静的コンテンツのトークンベースのアクセス制御 2014
https://qiita.com/kawasima/items/f9ecf20e8d8ac7f126e9

認証を含む API 開発で検討すべきこと 2015
https://www.bokukoko.info/entry/2015/12/20/%E8%AA%8D%E8%A8%BC%E3%82%92%E5%90%AB%E3%82%80_API_%E9%96%8B%E7%99%BA%E3%81%A7%E6%A4%9C%E8%A8%8E%E3%81%99%E3%81%B9%E3%81%8D%E3%81%93%E3%81%A8

●セマンティック・ウェブ
本ブログ内https://earthsimulation.blogspot.com/2018/07/blog-post_31.html

●LOD
本ブログ内https://earthsimulation.blogspot.com/2018/10/lodsparql.html



LODとクエリ言語SPARQL

RDF用クエリ言語SPARQL W3C勧告 2008年1月15日
http://www.asahi-net.or.jp/~ax2s-kmtn/internet/rdf/rdf-sparql-query.html

LODとSPARQL入門
https://midoriit.com/2014/03/lod%E3%81%A8sparql%E5%85%A5%E9%96%801.html
https://midoriit.com/2014/03/lod%E3%81%A8sparql%E5%85%A5%E9%96%802.html
https://midoriit.com/2014/06/lod%E3%81%A8sparql%E5%85%A5%E9%96%803.html
https://midoriit.com/2014/09/lod%E3%81%A8sparql%E5%85%A5%E9%96%804.html

Linked Open Data(LOD)の基本理念と基盤となる技術 2017年6月18日
https://www.slideshare.net/KoujiKozaki/linked-open-datalod-77040726
Linked Open Data(LOD)を使うと“うれしい”3つの理由 2017年12月19日(火)
https://www.slideshare.net/KoujiKozaki/linked-open-datalod-84480642
SPARQLとMashup環境 2014年
https://www.slideshare.net/KohichiToshioka/sparqlmashup2014-09-13

Webの全てをデータベースにするLinked Open Data(LOD)とクエリ言語SPARQLの基礎 2014年08月12日
http://www.atmarkit.co.jp/ait/articles/1408/12/news006.html
http://www.atmarkit.co.jp/ait/articles/1408/12/news006_2.html
http://www.atmarkit.co.jp/ait/articles/1408/12/news006_3.html

e-Stat 統計LOD
SPARQL APIの概要:http://data.e-stat.go.jp/lodw/sparqlendpoint/api
SPARQL Queryのサンプル:http://data.e-stat.go.jp/lodw/sparqlendpoint/querysample

DBpedia
http://ja.dbpedia.org/
ウィキペディア

Wikidata
https://www.wikidata.org/wiki/Wikidata:Introduction/ja
ウィキペディア

ブルーオーシャン戦略

ベンチャーキャピタリスト高宮慎一が語る、ブルー・オーシャンの3パターン
https://news.finance.yahoo.co.jp/detail/20181003-00181076-diamond-column

まっさらな更地に、市場そのものを創っていくパターン
・新規技術など完全にゼロからユーザーや市場創りから始めなければならないケース
・リアルな世界の習慣、前の時代の習慣を、現代のものに置き換えるパターン
・そもそも市場がしっかりとある中で、市場を再定義して、新たにつくっていくもの

Monday, September 24, 2018

Pythonスクリプトのセキュリティ対策

●Pythonのセキュリティ
Pythonに咬まれるな : 注意すべきセキュリティリスクのリスト
https://postd.cc/a-bite-of-python/

  • ビルトイン関数input:標準入力から読み込んだものが即座にPythonコードとして評価されてしまう。
  • assert文
  • is演算子
Python 2.7.14から学ぶセキュリティの基本
https://blog.ohgaki.net/learning-security-from-python-2-7-14-release

●ウェブサイトのセキュリティ
みんなのPython Webアプリ編 - セキュリティホールへの対処
https://coreblog.org/ats/stuff/minpy_web/15/02.html

  • クロスサイトスクリプティング(XSS)
  • SQLインジェクション
  • クエリに関連するセキュリティホール

セキュリティ対策の程度について
https://teratail.com/questions/35611

IPA安全なウェブサイトの作り方
https://www.ipa.go.jp/security/vuln/websecurity.html

体系的に学ぶ 安全なWebアプリケーションの作り方 脆弱性が生まれる原理と対策の実践
 https://www.amazon.co.jp/dp/B00E5TJ120/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1

●OPeNDAPのセキュリティ
考えておこう! OpenLDAPのセキュリティ設定 (1/3)
http://www.atmarkit.co.jp/ait/articles/0901/21/news123.html
http://www.atmarkit.co.jp/ait/articles/0901/21/news123_2.html
http://www.atmarkit.co.jp/ait/articles/0901/21/news123_3.html

セキュリティの考慮
http://www5f.biglobe.ne.jp/~inachi/openldap/admin22/security-ja.html

Network Server Security
https://docs.opendap.org/index.php/NetworkServerSecurity



Wednesday, September 19, 2018

水産分野の観測データ収集

●定線観測・定点観測
FraUploader: 地方自治体水産試験研究機関定線データ転送システム
FRADATAINPUT: 汎用型現場観測データ転送システム
FRADATASYS: 定線データ取得システム
入札公告:https://www.fra.affrc.go.jp/keiyaku/27/file/cCodw5kWaN-0.pdf
https://www.fra.affrc.go.jp/keiyaku/28/file/HrlVVKzLo4-0.pdf

「海況情報収集迅速化システム開発試験」
http://jsnfri.fra.affrc.go.jp/pref/aomori/suisi/gaiyou/h8/pdf/155-164.pdf

●定点モニタリング(自動観測ブイ)
リアルタイム海洋情報収集解析システム
http://buoy.nrifs.affrc.go.jp/
観測ブイ一覧
http://buoy.nrifs.affrc.go.jp/doc/aboutbuoy.php

●GTSPP

●ARGO

●VMS(船舶監視システム)
https://en.wikipedia.org/wiki/Vessel_monitoring_system

政府衛星データのオープン&フリー化及びデータ利用環境整備事業

経産省委託事業の募集ページ
http://www.meti.go.jp/information/publicoffer/kobo/k180203003.html

さくらインターネット
https://www.sakura.ad.jp/information/pressreleases/2018/05/22/90218/



観測衛星のまとめ

●クロロフィルa/海色計
本ブログ内http://earthsimulation.blogspot.com/2018/09/a.html

●海面水温
・AMSRシリーズ
本ブログ内http://earthsimulation.blogspot.com/2018/09/amsr.html

●SAR
本ブログ内https://earthsimulation.blogspot.com/2018/03/sar.html

●マイクロ波散乱計
本ブログ内https://earthsimulation.blogspot.com/2017/10/blog-post.html

●海上風の推定法
本ブログ内https://earthsimulation.blogspot.com/2017/11/blog-post_65.html

●地形観測

●その他(降雨、温室効果ガス、海面高度、水蒸気、雲頂高度・・・)
本ブログ内https://earthsimulation.blogspot.com/2018/05/blog-post_43.html

Tuesday, September 18, 2018

ArcGIS API for Python

公式サイト
https://developers.arcgis.com/python/

解説
ArcGIS API for Python を使ってみよう:できることや使いどころ
https://community.esri.com/docs/DOC-11401-hogehoge

使ってみよう①:Jupyter Notebook で使うための環境構築

使ってみよう②:ローカル端末から ArcGIS Online へデータを作成してみよう

使ってみよう③:ArcGIS Online のアイテムを検索してみよう

使ってみよう④:ArcGIS Online のアイテムを削除してみよう

日本周辺の海洋モデル

COCO, RIAMOM, OFES, MRI.COM
https://www.jamstec.go.jp/ceist/dsrg/crom.html
「日本近海同化プロダクトの高解像度沿岸予報への利活用」2014年
http://www.jmsfmml.or.jp/mml/summerschool/2013/2013program/2013pdf/22-nakata.pdf

九大応力研 RIAMOM(RIAM Ocean Model)
日本近海の海況予報 DREAMS
https://dreams-c.riam.kyushu-u.ac.jp/vwp/
 DREAMS_C:能登半島を中心とする2~3日予測 1/60度×1/75度
 DREAMS_M:九州南西側の1週予測 1/12度×1/15度
 DREAMS_B:日本周辺の1周予測 1/4度×1/5度

「九州北部(対馬海峡)における海況予測サイトの使い方」
http://dreams-d.riam.kyushu-u.ac.jp/tutorial.pdf

「東アジア縁辺海の高解像度再解析(DREAMS)」 2013年
https://kaken.nii.ac.jp/ja/file/KAKENHI-PROJECT-21684027/21684027seika.pdf
近似カルマンフィルターとスムーザーでデータ同化

日本海海況予測システムJADE→日本海・東シナ海JADE2
「日本海海況予測システムJADEの更新に向けてーJADE2の開発ー」(2013年)
http://www.jmsfmml.or.jp/mml/summerschool/2013/2013program/2013pdf/22-takayama.pdf
RIAM Ocean Model。毎週更新。解像度1/12度×1/15度(東西6.5~7.7km、南北7.4km)。2003年以降の再解析、2か月予測

「拡張版日本海海況予測システム(JADE2)の開発」 2014年
http://jsnfri.fra.affrc.go.jp/pub/rt/14/11-13.pdf

・リアルタイム急潮予測システム
http://kyucho.dc.affrc.go.jp/kyucho/

九州大学 応用力学研究所 東アジア海洋大気環境研究センター
https://www.riam.kyushu-u.ac.jp/COAR/
https://www.riam.kyushu-u.ac.jp/omg/research.html.ja

FRA-ROMS
http://fm.dc.affrc.go.jp/fra-roms/
再解析及び2か月予測。 1/2°渦許容モデル(北太平洋全域)と1/10°渦解像モデル(北西太平洋)を単方向で接続。データ同化は EOF 結合モードを用いた 3 次元変分法による。

●日本沿海予測可能性実験JCOPE
http://www.jamstec.go.jp/jcope/htdocs/home.html
POMを使用。解像度1/12度(10km弱)

●東大大気海洋研 COCO

気象研 MRI.COM/同化システムMOVE
本ブログ内https://earthsimulation.blogspot.com/2018/07/mricom.html

・日本近海のデータ
・日別海面水温:https://www.data.jma.go.jp/gmd/kaiyou/data/db/kaikyo/daily/sst_HQ.html
・気象庁 海面水温・海流1か月予測
https://www.data.jma.go.jp/kaiyou/data/db/kaikyo/ocean/forecast/month.html
・海流予想図
https://www.data.jma.go.jp/gmd/kaiyou/data/db/kaikyo/ocean/forecast/predict.html
・海面水温予想図
https://www.data.jma.go.jp/kaiyou/data/db/kaikyo/ocean/forecast/sst1.html

●OFES

●KyotoOGCM

衛星クロロフィルa観測

NASAの海色プロジェクト
https://oceancolor.gsfc.nasa.gov/
https://svs.gsfc.nasa.gov/4596#23986

●MODIS/ Aqua, Terra衛星 クロロフィルaの解像度1㎞
http://kuroshio.eorc.jaxa.jp/ADEOS/mod_nrt/
http://www.cr.chiba-u.jp/~database-jp/wiki/wiki.cgi?page=JAXA-MODIS

●SGLI/ GCOM-C1衛星 クロロフィルaの解像度250m
http://www.sed.co.jp/sug/contents/satellite/satellite_gcom_c_sgli.html

●GOCI 2011年4月~
https://oceancolor.gsfc.nasa.gov/data/goci/
静止衛星。韓国周辺、解像度500m

●Sentinel-3A衛星/OLCI 2016年12月~
https://oceancolor.gsfc.nasa.gov/data/olci-s3a/

●JPSS-1衛星(NOAA-20衛星)/VIIRS 2017年12月~
https://oceancolor.gsfc.nasa.gov/data/viirs-j1/
VIIRSはMODISの後継センサー

●Suomi-NPP衛星/VIIRS 2012年1月~
https://oceancolor.gsfc.nasa.gov/data/viirs-snpp/

(ミッション終了)
●SeaWifs/ OrbView-2衛星 1997年9月打上げ、2010年12月運用停止
http://www.jamstec.go.jp/jamstec-j/OCEAN/SATE/index.html

●SAC-D/Aquarius(2011年8月~2015年6月)


「伊勢・三河湾におけるMODISとSeaWiFSのクロロフィルa濃度の検証と改善」(2015年)
https://www.jstage.jst.go.jp/article/rssj/35/4/35_245/_pdf
「海色アルゴリズムの現状について」(2013年)
https://www.jstage.jst.go.jp/article/jsprs/52/5/52_243/_pdf/-char/ja

AMSRシリーズ

AMSR/AMSR-E公式サイト
http://sharaku.eorc.jaxa.jp/AMSR/index_j.html
AMSR2:地球観測衛星データ提供システム (G-Portal)
https://gportal.jaxa.jp/

2002年5月:Aqua衛星/ AMSR-E(口径1.6m)観測を継続中
2002年12月:ADEOS-II衛星/ AMSR(口径2m)2003年に運用停止
2011年:GCOM-W1衛星/ AMSR2(口径2m)
https://gportal.jaxa.jp/gpr/notice/case/view/923
 海面水温の解像度10GHzで30㎞、沿岸近くは陸面の影響を受ける。
打上げ未定:GCOM-W2衛星/ AMSR3

宇宙技術開発(株) SED

販売している衛星データ
http://www.sed.co.jp/sug/contents/price/price.html

ALOS/ ALOS-2(PALSAR,AVNIR-2データはJAXAから実費販売)

COSMO-SkyMed(イタリア宇宙庁、XバンドSAR、4機体制)

GeoEye-1/IKONOS(GeoEye社)

Quickbird(ディジタルグローブ社)

RapidEye(ドイツ/RapidEye AG)

SPOT(フランスの宇宙機関CNES)

WorldView-1~3(ディジタルグローブ社)

Monday, September 17, 2018

RESTEC

●提供する衛星データ
・WorldView-1,2,3,4/GeoEye-1/QuickBird運用終了/IKONOS運用終了(DigitalGlobe社)
・THEOS(タイ地理情報宇宙開発機構(GISTDA)再撮影頻度2日)
・Pleiades-HR (1A , 1B) / SPOT1~7(AirbusDefenceandSpace社)
・COSMO-SkyMed(日本スペースイメージング(株))
・RapidEye(Planet Labs社)
・FORMOSAT-2(台湾宇宙機関(NSPO)回帰日数1日)
・ALOS-2 (PALSAR-2)/ ALO (PALSAR, AVNIR-2/PRISM同時観測)
・JERS-1
・ADEOS/ MOS-1/ ADEOS-II
・TRIMM
・Aqua/AMSR-E/ MODIS 準リアルデータ

●提供するソリューションサービス
・JAXAのGPM計画のデータGSMaPを利用(水資源、洪水予測)
・米国の高分解能衛星QuickBird(防災・地図・施設管理、ソーラーパネル診断)
・ALOS/PALSARデータ(収穫量予測、森林監視、林道描画)
・ALOS/AVNIR-2データ(水産・藻場)
・PRISM/DSM(数値地表モデル)
・AVNIR-2とPRISM(地図、火山噴火)
・PALSARとAMSR2(海氷分布)
・LANDSATやタイ(GISTDA)のTHEOS、アメリカ商業衛星のWorld View-1、2、Quick Bird、カナダRADARSAT-2、ドイツのTerraSAR-X
・Landsat衛星のTMセンサ、ETM+センサ+IRS衛星のPANセンサ(政令指定都市)

Thursday, September 13, 2018

NuSDaS (数値予報標準データセットシステム)

NuSDaS (数値予報標準データセットシステム)
http://www.mri-jma.go.jp/Project/cons/data/nusdas13.pdf

NuSDaS は NWP Standard Dataset System の略で、数値予報格子点データ (GPV; grid point value) を 格納するために作られたデータ形式。

C および Fortran で NuSDaS データを読み書きするための サブルーチン集を NuSDaS インターフェイス (または NuSDaS ライブラリ) という。

CO2観測している機関・組織

●世界
温室効果ガス世界資料センター(WDCGG)
 https://gaw.kishou.go.jp/jp/
 観測点マップ:https://gaw.kishou.go.jp/searchで「MAP」をクリック
 観測機関リスト:https://gaw.kishou.go.jp/documents/db_list/organization

●研究機関
・気象庁・気象研
 綾里、南鳥島、与那国島で観測
 https://ds.data.jma.go.jp/ghg/kanshi/obs/co2_monthave_ryo.html
・環境省・国環研
 - いぶきGOSAT:http://www.gosat.nies.go.jp/recent-global-co2.html
 - 本ブログ内https://earthsimulation.blogspot.com/2018/09/nies.html
 - スカイツリーで観測
・産総研・NEDO
・水産研究・教育機構FRA
・極地研:https://scidbase.nipr.ac.jp/modules/metadata/index.php?content_id=145
・JAMSTEC
 - https://www.jamstec.go.jp/mutsu/co2/
 - 「みらい」等によるCO2分圧観測データ

●自治体・大学
・北大:
・東北大学 大気海洋変動観測研究センター:http://tgr.geophys.tohoku.ac.jp
・埼玉県 環境科学国際センター:https://www.pref.saitama.lg.jp/cess/index.html
・静岡大学:http://www.shizuoka.ac.jp/index.html
・愛知県 環境部 水大気環境課:https://www.pref.aichi.jp/soshiki/ondanka/0000004708.html
・名古屋大学 地球水循環研究センター:http://www.hyarc.nagoya-u.ac.jp/japanese/index.html
・大阪大学工学部:http://www.eng.osaka-u.ac.jp/ja/index.html

●その他
・交通エコロジー・モビリティー財団(ECoMo):http://www.ecomo.or.jp/
・(株)環境総合テクノス(KANSO):http://www.kanso.co.jp/
・特定非営利活動法人co2sos:http://www.co2sos.net/
・(株)ユードム:生活環境圏を対象とした CO2濃度計測の学校環境教育への展開

Wednesday, September 12, 2018

気象データのツール

(※印はCentOS6の追加レポジトリ)
基本環境
※IntelのCコンパイラ
※IntelのFortranコンパイラ
※PHP
※MySQL

格子点データ・グラフ描画ツール
TAG:気象庁数値予報課で開発されているラスタ形式での高速描画ツール。
NuSDaS, (一部の)GRIB2用

PANDAH:気象庁数値予報課で開発されている描画ツール。モニタ図やメソモデル開発などに利用。描画ライブラリに PLOTPS を用いている。 NuSDaS用

kplot, mplot:気象研究所で開発されている描画ツール。描画ライブラリに PLOTPS を用 いている。
NuSDaS (kplot)、JMA-NHM の 独自フォーマット出力(MRI 形式) (mplot) 用

※GMT:ハワイ大学で開発されている描画のためのツールおよび描画のためのデータセット処理ツールの集合。テキストデータ、バイナリデータ用

GrADS:COLA で開発されている気象関係のデータの扱いに特化したデータ描画ツール。GRIB1/2、NetCDF用

NCL:NCAR で開発されているデータ解析、描画のためのスクリプト言語。描画ラ イブラリに NCAR Graphics を用い ている。 NetCDF, GRIB1/2, HDF用

MetView:ECMWF で開発されている GUI を併せ持った描画ツール。スクリプトによるバッチ処理も可能。描画ライブラ リに Magics を用いている。
GRIB1/2, NetCDF, BUFR用

gnuplot:有志によって開発されている 2 次元および 3 次元のグラフの作成ツール。
主にテキストデータ用

R:有志によって開発されている統計解析ツール。グラフ等の描画にも利用可能。
テキストファイル用。

MATLAB:MathWorks社の技術計算言語。可視化だけでなく、強力な計算機能、データ解析機能を持つ。 テキストファイル、NetCDF、HDF用。

IDL(ウィキ):商用の技術計算言語。可視化だけでなく、強力な計算機能、データ解析機能 を持つ。UKMO で利用されている。 NetCDF, HDF, GRIB用。

※ImageMagic

※Octave:matlab互換のフリーウェア

ライブラリ
PLOTPS:気象研が開発した PostScript を出力する描画ライブラ リ。

Magics:ECMWF が開発した描画ライブラリ。C、C++、Fortran、Python のインターフェースを持つ。 GRIB1/2, NetCDF, BUFR などの 読み出し機能を内包。

matplotlib:有志によって開発されている Python の描画ライブラリ。MATLAB と似た使い方を目指している。 他のデータ読み出しライブラリを組み 合わせる。

Iris:UKMO が開発した地球科学データ向けの Python のライブラリ。 描画部は matplotlib を利用。

NCAR Graphics:NCAR が開発した描画ライブラリ。C、Fortran のインターフェー スを持つ。 

PyNGL, PyNIO:PyNGL は NCAR が開発した NCAR Graphics の Python イン ターフェース。

地球流体電脳ライブラリDCL:地球流体電脳倶楽部で開発されているライブラリ。C、Fortran、Ruby のインターフェースを持つ。

※PLplot:グラフ作成ライブラリ

解析ライブラリ
※NetCDFライブラリ

※HDF(Hierarchical Data Format)

※HDF-5

Grib_api:ECMWF の GRIB デーコーダ

スクリプト言語
※Python

※Ruby

その他のツール
※git:バージョン管理

※mercurial:バージョン管理

出典:http://www.jma.go.jp/jma/kishou/books/nwpreport/63/chapter4.pdf

京大防災研のデータ

京都大学
●防災研究所:http://www.dpri.kyoto-u.ac.jp/

総合防災研究グループ
 社会防災研究部門
 巨大災害研究センター
大気・水研究グループ
 気象・水災害研究部門
  暴風雨・気象環境研究分野
  沿岸災害研究分野(津波、高潮、巨大波浪)
 流域災害研究グループ
 水資源研究センター

●生存圏研究所
生存圏データベース
  グローバル大気観測データ(JRA-55、ERA-40、NCEP再解析データ、GPV、全国号さえいレーダ、ウィンドプロファイラ)

Tuesday, September 11, 2018

都道府県の環境研究機関

都道府県の環境研究機関のリンク:https://www.nies.go.jp/link/site1-3.html

北海道:環境科学研究センター
岩手県:環境保健研究センター
宮城県:保健環境センター
秋田県:健康環境センター
山形県:環境科学研究センター
新潟県:保健環境科学研究所
 新潟市:衛生環境研究所
福島県:環境センター
茨城県:霞ケ浦環境科学センター
栃木県:
千葉県:環境研究センター暑熱
東京都:環境科学研究所暑熱
 港区:(暑熱
 千代田区:(暑熱
 目黒区:(暑熱
神奈川県:環境科学センター暑熱
 横浜市:横浜市衛生環境研究所暑熱熱中症
 川崎市:環境総合研究所暑熱
埼玉県:環境科学国際センター暑熱熊谷
群馬県:環境衛生研究所
山梨県:衛生環境研究所
福井県:衛生環境研究センター
富山県:環境科学センタ
石川県:保健環境センター
長野県:環境保全研究所
静岡県:環境衛生科学研究所
愛知県:
 名古屋市:環境科学調査センター暑熱
岐阜県:保険環境研究所
三重県:保健環境研究所
滋賀県:琵琶湖環境科学研究センター
京都府:保健環境研究所
 京都市:衛生環境研究所
大阪府:環境農林水産総合研究所大阪湾水温速報暑熱
 大阪市:環境科学研究所暑熱
 堺市:(暑熱
 東大阪市:(暑熱
 高槻市:(暑熱
奈良県:
兵庫県:環境研究センター
 神戸市:環境保健研究所
 姫路市:(暑熱
和歌山県:環境衛生研究センター
鳥取県:環境衛生研究所
島根県:保健環境科学研究所
岡山県:環境保健センター
広島県:保健環境センター
徳島県:保険製薬環境センター
香川県:環境保健研究センター
愛媛県:衛生環境研究所
高知県:環境研究センター
福岡県:
 北九州市:環境科学研究所
 福岡市:保健環境研究所
佐賀県:環境センター
長崎県:環境保健研究センター
熊本県:保健環境科学研究所
 熊本市:環境総合センター
大分県:衛生環境研究センター
宮城県:衛生環境研究所
鹿児島県:環境保健センター
沖縄県:保健医療部 衛生環境研究所

NCEPのGEFS(旧GENS)

Global Ensemble Forecast System(GEFS)
https://www.ncdc.noaa.gov/data-access/model-data/model-datasets/global-ensemble-forecast-system-gefs
公式サイト:http://www.emc.ncep.noaa.gov/index.php?branch=GEFS
旧名称:GFS Global ENSemble(GENS)
アンサンブルメンバー:21
全球、1日4回、16日まで。2012 version of NCEP's Global Ensemble Forecasting System (GEFS, Version 10)を使用。8日まで解像度60㎞、16日まで解像度70㎞。

Performance of the New NCEP Global Ensemble Forecast System in a Parallel Experiment 2017
NCEP Global Ensemble Forecast System (GEFS) 2014

NOMADS(NOAA National Operational Model Archive and Distribution System):グリッド化されたデータの入手。NOMADS Ensemble Probability Toolもある。

HDSS Access System(HAS):GEFSのオフラインデータの注文。

Monday, September 10, 2018

暑熱対策

○熱中症予防情報サイト(環境省)
http://www.wbgt.env.go.jp/
 暑さ指数(WBGT)電子情報提供サービス
http://www.wbgt.env.go.jp/data_service.php
 提供業務報告書
https://www.env.go.jp/air/report/h22-04/index.html

○高反射塗料
遮熱塗料ミラクール

○ドライミスト:太陽工業(株)ミストシェルターパナソニック

暑熱コンサルティング
・暑熱対策エンジニアリング:三井住友建設(建物の温度推定、換気、ミスト、ヨシズ・屋根散水、置換空調)、TERAL(排熱、誘引ファン、ピンポイント空調)、応用技術(株)長谷工コーポレーションNTT都市開発戸田建設
・畜産関係:神奈川県県家畜保健衛生所チュウチク
・現場作業者:クラボウのスマート衣料SmartFit
・スポーツ:JISS

○ヒートアイランド対策
国環研
埼玉県:対策
神奈川県:ハンドブック
 横浜市:環境創造局
 川崎市:対策
東京都:環境局
 目黒区:対策
千葉県:対策
2020対策

Thursday, September 6, 2018

Pythonと気象データ用ツール

解説(pdf):Python tools for analysing data

●ECMWF
Access ECMWF Public Datasets(ECMWFの公開データを取得)
Accessing ECMWF data servers in batch
上記サイトからデータを取得する際のpythonスクリプトのメモ
ECMWF API Python Client(GitHub)
Downloading ERA INTERIM Data

UKMO
https://scitools.org.uk/
Iris
Cartopy:geospatial data processing in order to produce maps and other geospatial data analyses.
cf-units:a wrapper class to support Unidata/UCAR UDUNITS-2, and the netcdftime calendar functionality. Provides units of measure.
Iris-grib:functionality for converting between weather and climate datasets that are stored as GRIB files and Iris cubes.
nc-time-axis(GitHub):support for non-gregorian datetimes in matplotlib
scitools/courses(GitHub):
ukmetv2.py(GitHub)
MetOffer 2.0:a simple wrapper for the API. It can be used to retrieve weather observations and forecasts
How to use Python to extract data from the Met Office JSON download

解説(pdf):Iris: A python package for the analysis and visualisation of Meteorological data

NCEP
Global RTOFS Data Analysis with Python
Examples of NWW3 Model Data Processing with Python
Python - NetCDF reading and writing example with plotting
GFSDownload 0.0.2:Tools for downloading gfs meteo parameters modelling estimation on an area and on a specific time.

NCAR
https://www2.cisl.ucar.edu/resources/computational-systems/cheyenne/software/python
NCAR's repository(GitHub)
wrf_hydro_py:Python API for the WRF-Hydro model
dset-JSON-to-ISO19139:A python command-line program for translating metadata records written in JSON to ISO 19139 XML.
METplus:Python scripting infrastructure for MET tools.
WRF-Python Tutorial 2018

●Universty of Reading
cf-pytnon

農研機構 メッシュ農業気象データ
https://amu.rd.naro.go.jp/

参考
本ブログ内https://earthsimulation.blogspot.com/2018/09/blog-post_54.html


C言語やFortranで記述された関数をPythonから呼び出すことが簡単にできる。

ベクトル計算に適した数値計算パッケージNumpy、統計計算パッケージpandasがある。

SQLite、PostgreSQL、MySQLなどのRDBMSの操作を行うことができる。