データとシミュレーション: November 2017

Thursday, November 30, 2017

暁光（Gyoukou）

(株)エクサスケーラー（斉藤元章会長）
http://www.exascaler.co.jp/
液浸冷却装置を開発

ペジー・コンピューティング（斉藤元章社長）
http://pezy.jp/
独自マルチコアプロセッサPEZY-SCを開発

暁光（Gyoukou）
ZettaScaler-2.2
TOP500において2017年11月に4位、Green500では同様に5位
http://www.exascaler.co.jp/wp-content/uploads/2017/11/zettascaler2.0_ja_page.pdf
（プレスリリース）
http://www.jamstec.go.jp/j/about/press_release/20171114/

EXTRAWING

http://www.jamstec.go.jp/ceist/aeird/avcrg/extrawing.ja.html
https://www.jamstec.go.jp/ceist/extrawing/description.html

東工大　ＴＵＢＡＭＥ

http://www.gsic.titech.ac.jp/tsubame
GPUスパコン

「京」コンピュータ

http://www.aics.riken.jp/jp/k/

Top500
　2011年の6月と11月に第1位
Graph500
　2019年6月～2015年7月（9期連続）に１位、2014年11月に2位、2014年6月に１位、2013年に4位
HPCG
　2019年6月～2018年6月（3期連続）に3位、2017年11月～2016年11月（3期連続）に１位、2016年6月～2015年７月（3期連続）に２位
HPC Challenge Aword
　2016年に４部門で１位、2014年に2部門で１位、2012年と2013年に３部門で1位、2011年に4部門で１位
Green500
　2010年11月に4位
ゴードン・ベル賞最高性能賞
　2011年11月（第一原理計算で最高性能賞）、2012年11月（初期宇宙での暗黒物質の動き）

○６次元メッシュ／トーラス
https://www.fujitsu.com/jp/about/businesspolicy/tech/k/whatis/network/
8万個以上のCPU間を相互に接続するネットワーク（インターコネクト）に「6次元メッシュ／トーラス」（Tofu（Torus fusion）インターコネクト）を採用。リンクあたりスループットは片方向5G bps、各ノードは4方向同時送受信可が可能。
・スーパーコンピュータ「京」のインターコネクトTofu（富士通、安島雄一郎ほか、2012）
https://www.fujitsu.com/downloads/JP/archive/imgjp/jmag/vol63-3/paper05.pdf
・高次元メッシュ/トーラスネットワークにおける実アプリケーションの通信最適化手法（黒田明義ほか、2014）
https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=96929&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8

○SCALE Project　気象気候惑星科学共通ライブラリーを目指して（理研計算科学研究機構、富田浩文、2012）
http://www.cs.kyoto-u.ac.jp/wp-content/uploads/2012/06/02tomita.pdf

○非静力学モデルに関するワークショップ（2015、JMA-NHM（解像度~100m）、AGCM20、NHM5、CReSS（2km）、NICAM（3.5km）、WRF（200m）、NHRCM、DFS、MSSG、asuca、SCALE）
http://w3.u-ryukyu.ac.jp/met_rq/notice/201512_NHM-WS/abstract/NHM-WS_abstract_all.pdf

地球シミュレータ

https://www.jamstec.go.jp/es/jp/

●ES3（SX-ACE）
http://www.hpc.cmc.osaka-u.ac.jp/wp-content/uploads/2016/07/SX-ACE_%E9%AB%98%E9%80%9F%E5%8C%96%E6%8A%80%E6%B3%95%E3%81%AE%E5%9F%BA%E7%A4%8E_%E3%83%99%E3%82%AF%E3%83%88%E3%83%AB%E5%8C%96%E8%B3%87%E6%96%99_%E9%98%AA%E5%A4%A7201609.pdf

●NEC SX-ACEの導入状況
阪大、九大応力研、JAMSTEC、東北大、国立環境研究所、大林組技術研究所、独シュトゥットガルト大学高性能計算センターHLRS、独キール大学、ノルウェーのアルフレッド・ウェゲナー極地海洋研究所

●SX-ACEとAurora
http://www.hpc.cmc.osaka-u.ac.jp/wp-content/uploads/2015/02/2_aino.pdf

メモリ
ES1：フルパイプラインメモリ（FPLRAM）：128Mbit、133MHz、10TB
ES2：ADB（Assignable Data Buffer）と呼ばれる容量256 KByte, 4 Byte/FLOPの高速なキャッシュ
ES3（DDR3 2000）のメモリ帯域幅：ノード当たり256 GB/s、ラック単位で16TB/sec、全体1,300TB/sec。ADB（1 MB）
SX-Aurora：メモリ帯域0.75 TB/sec、DDR4 DIMM

結合ネットワーク
ES1：単段クロスバースイッチ
ES2：２段クロスバースイッチでファットツリー状に接続
ES3：同上

Wednesday, November 29, 2017

GISソフト

出典

Windows用フリーソフト

MANDARA：Shape形式のデータやKMZ形式のデータなどに互換性　http://ktgis.net/mandara/
カシミール３D：地図ブラウザ。国土地理院の数値地図、ArcInfoのExport形式（拡張子E00）、LANDSAT画像（TM,ETM+）が活用できる。
ArcExplore：Esri社の無償ソフト。
Quantum GIS（QGIS）：高機能だが操作方法は複雑。http://qgis.org/ja/site/
GRASS GIS　http://wgrass.media.osaka-cu.ac.jp/grassh/index.html
みんなでGIS　http://www.minnagis.com/
時空間地理情報管理システムSTIMS　http://www.mm.ics.saitama-u.ac.jp/stims/　開発停止中
FOSS4G
GMT：難度高い
OpenLayers
SuperMap Viewer 2008
TNTLite
STIMS（埼玉大学工学部大沢研究室）

低コストGIS

地図太郎

無償／低コストで使えるWebGIS

国土地理院の電子国土Web
MapServer
Openlayer
昭文社のMAPPLE
パスコのわが街ガイド
ドーンのGeoBase
国際航業のSonic-Web
Google Earth/ Googleマップ：KMZ形式

有料

Blackland GRASS
ArcGIS
MapInfo
SIS　http://www.informatix.co.jp/sis/
TNTmips
SuperMap GIS

Tuesday, November 28, 2017

植生動的モデルSEIB-DGVM

Spatially Explicit Individual Based Dynamic Global Vegitation Model

DIAS

すべてのデータセット
http://search.diasjp.net/search?lang=ja&ex=true&ex=jdc&ex=jalter&ex=nipr&ex=ads

1-434: DIAS
435-483: JAMSTEC Data Catalog
484-631: JaLTER
632-876: NiPR
877-1027: ADS

Python

公式サイト：https://www.python.org/
ウィキペディア
Javaと並んで最も人気の高い汎用プログラミング言語。機械学習や深層学習の分野で多くの支持を得ている。インタプリタ上で実行するスプリクト言語。計算・統計処理で使用できるライブラリが豊富。
通常、Ｃ言語で書かれたバージョンCPythonを差す。
YouTube、Instagram、Pinterest、DropBox、Pepperの感情エンジンはPythonで書かれている。

Anaconda：データサイエンス向けに作成された Pythonパッケージ
Pythonの統合開発環境としては、PyCharm、Viｍ、sublime、PyScripter、Visual Studio、Atom、Eclipse+PyDev、Anaconda、IDLE、Jupiter、Spyderなど。

●基本
「専門知識いらず！Pythonとは？言語の特徴から網羅的に徹底解説」（フクロウ氏）
https://www.sejuku.net/blog/7720
「Pythonで作れるモノとその事例まとめ【WEBアプリ/データ解析/人工知能】」（佐野裕史氏）
https://www.sejuku.net/blog/9017

Pythonで大きなテキストファイルをメモリに読み込まずに行単位で読み込みます
https://code.i-harness.com/ja/q/62ce40

●科学計算
科学技術計算のために Python を始めよう。
http://www.turbare.net/transl/scipy-lecture-notes/intro/

●気象データ
本ブログ内：気象データとPython　http://earthsimulation.blogspot.com/2018/09/python.html

●GISデータ
PythonでGIS
http://blog.godo-tys.jp/python-geospatial-tutorial/

【脱GIS】Pythonとかで地理空間情報、位置情報を扱うための情報まとめ
https://qiita.com/aimof/items/b4e4551d27abaf5bb258

Pythonで国土数値情報のShapeFileを操作してデータベースにインポートしてみる
https://qiita.com/mima_ita/items/e614a281807970427921

Python GeoSpatial Tutorial 目次
http://blog.godo-tys.jp/python-geospatial-tutorial/

国土数値情報とfoliumで市区町村区切りのコロプレス図を描く(GeoJSON型式→Python)
https://qiita.com/shima_x/items/fe29274d67de3a461524

QGIS+Python初級
https://gis-oer.github.io/gitbook/book/GIS%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E6%95%99%E6%9D%90/python%E5%88%9D%E7%B4%9A/python%E5%88%9D%E7%B4%9A.html

ArcGIS API for Python
https://community.esri.com/docs/DOC-11401-hogehoge

●その他
netCDFをRで読む方法
http://seib-dgvm.com/tips.html

気象データ形式

http://www.jma.go.jp/jma/kishou/books/nwpreport/63/chapter4.pdf

ベクタデータとラスタデータ／格子点データ

(2) WMO通報式
　伝統的文字形式通報式 (TAC)
　表参照型通報式
　　BUFR：Binary Universal Form of Representation
　　CREX：Character form for the Representation and Exchange of data
　　GRIB：Gridded Binary
　XML を基にした通報式
　CAP
(3) 気象庁固有のデータ形式
　テキスト電報の形式
　数値予報システム内部で用いられるバイナリ形式
　気象庁防災情報 XML
(4) 米国研究機関発の汎用配列データ形式
　netCDF (network common data form、UCAR Unidata で開発)
　HDF (hierarchical data format、NASAで開発、リモセン分野)
(5) GIS 標準
　ベクタデータ形式
　　ESRI 社の Shapefile 形式
　　米国 ANSI 標準 SDTS (Spatial Data Transfer Standard)
　　OGC の GML
　　KML (Keyhole Markup Language)
　　GeoJSON
　ラスタデータ形式

格子点値データフォーマット
　GRIB/GRIB2（WMO基礎システム委員会 (CBS) によって標準化）：気象庁GPV
　NetCDF (Network Common Data Form、米国 Unidata で開発)
　GrADS
　NuSDaS (Numerical Prediction Standard Data-set System、気象庁独自フォーマット)
　　本ブログ内：http://earthsimulation.blogspot.com/2018/09/nusdas.html

可視化ツールとライブラリ
本ブログ内：http://earthsimulation.blogspot.com/2018/09/blog-post_54.html

衛星海面フラックスJ-OFURO

https://j-ofuro.scc.u-tokai.ac.jp/project/
http://dtsv.scc.u-tokai.ac.jp/j-ofuro_japanese/index.html

海上風

●マイクロ波散乱計
本ブログ内：http://earthsimulation.blogspot.jp/2017/10/blog-post.html

●大気追跡法
本ブログ内：http://earthsimulation.blogspot.jp/2017/10/blog-post_31.html

●マイクロ波放射計 （AMSR/AMSR-E、6GHz帯、Coriolis/Windsat)／全天候型海上風速
　海面輝度温度の周波数・偏波依存性を利用して風速を推定。
http://sharaku.eorc.jaxa.jp/AMSR/windsat_direction/manual/index_j.html
AWSSW （All Weather Sea Surface Wind）データ。沿岸部は陸の影響で精度が極端に低下。空間分解能：約50km
http://www.metsoc.jp/tenki/pdf/2010/2010_01_0005.pdf
AMSR-Eの6.925GHz帯と10.65GHz帯水平偏波輝度温度から算出。雨天でも海上風速の算出が可能。
https://www.jstage.jst.go.jp/article/sst/4/1/4_59/_pdf/-char/ja
SAC-D/Aquarius衛星（2011年にアルゼンチンCONAEとNASAが打ち上げ）
佐賀大学
https://www.ioes.saga-u.ac.jp/jp/files/uploads/12-2.pdf

●合成開口レーダー
東北大
http://www.bosai.go.jp/sougou/kyoudou/kyodo14.pdf

産総研＞福島再生可能エネルギー研究所＞風力エネルギーチーム
http://www.aist.go.jp/fukushima/ja/unit/WPT.html
神戸大　丹羽／産総研　竹山（SAR+WRF）
竹山、「合成開口レーダー画像および海洋観測に基づく海上風シミュレーションの精度向上」2015
https://kaken.nii.ac.jp/ja/file/KAKENHI-PROJECT-24760679/24760679seika.pdf
嶋田ほか、「複雑地形における気象モデルによる高解像度風況シミュレーション」2015
https://www.jstage.jst.go.jp/article/jweasympo/37/0/37_241/_pdf
香西、「合成開口レーダー・散乱計及びメソ気象モデルを用いた洋上風力資源調査手法の開発」2013
https://kaken.nii.ac.jp/ja/file/KAKENHI-PROJECT-22360379/22360379seika.pdf
見崎ほか、「メソ気象モデル WRF によって計算された沿岸海域における水平風速勾配の精度検証」（神戸大）2013
https://www.jstage.jst.go.jp/article/jaweam/2013/0/2013_131/_pdf/-char/ja
大澤ほか、「メソ気象モデルによる洋上風況調査精度について」2012
https://www.jstage.jst.go.jp/article/jweasympo/34/0/34_334/_pdf
丹羽ほか、「合成開口レーダー画像を用いたメソ気象モデル WRF による沿岸海上風速分布の検証」2011
https://www.jstage.jst.go.jp/article/kazekosymp/21/0/21_0_203/_pdf/-char/ja
岸から 10km 以内の海岸線近傍で大きな正のバイアスを示す．これはWRFが原因

ALOS/PALSAR
http://www.eorc.jaxa.jp/ALOS/img_up/jpal_090123.htm
http://www.eorc.jaxa.jp/earthview/2013/tp130528.html

●ブイ・船舶
https://www6.kaiho.mlit.go.jp/03kanku/yokohama/kisyou.html
・沿岸域情報提供システム（MICS）（海上保安庁）

https://www.kaiho.mlit.go.jp/info/mics/

・東京湾海上交通センター
https://www6.kaiho.mlit.go.jp/tokyowan/weather-pc/weather.htm
・海上気象実況報（観測船、一般船舶、ブイ、漁船）／海上高層実況気象報（観測船等）／海上気象ブイロボット実況報（気象庁）
　海上予報／海上分布予報
・海天気.jp（有限会社ビーイング）
https://www.umitenki.jp/

●観測タワー
・NEDO（銚子沖、北九州市沖）

●海洋短波レーダー
波浪データを使用した海上風推定手法に関する検討
https://www.jstage.jst.go.jp/article/jscejer/72/5/72_I_59/_article/-char/ja/
海洋レーダによる沿岸海上風補正
http://le-web.riam.kyushu-u.ac.jp/~le-all/meeting/hf-radar/2017/slides/hisaki.pdf

●シミュレーションによる推算
海上技術安全研究所
北太平洋／日本近海

海上風観測方法
http://www.nedo.go.jp/content/100758580.pdf

火災シミュレーション

(独)消防研究所
http://www2.nagare.or.jp/jscfd/j-jscfd/122/p122-6.pdf

建屋内

(株)環境シミュレーション
火災蓄煙：蓄煙シミュレーション
http://www.env-simulation.com/jp/?p=132
火災蓄煙：プリュームシミュレーション
http://www.env-simulation.com/jp/?p=130

(株)CAEソリューションズ
PyroSim -火災シミュレーション
https://www.cae-sc.com/products/pyrosim.html
火災シミュレーションソフト米国標準局(NIST)のFire Dinamics Simulator(FDS)を計算エンジンとして使用するFDS専用のGUI

都市の延焼

愛媛大学防災情報研究センター
火災延焼シミュレータ（大規模地震時に発生すると考えられる都市火災）
http://cdmir.jp/simulator/

消防研究センター
市街地火災延焼シミュレーション
http://www.fdma.go.jp/neuter/about/shingi_kento/h28/itoigawa_daikibokasai/02/shiryo2.pdf

愛媛大学
火災延焼シミュレータ（クラウド）
http://disastersim-01.ee.ehime-u.ac.jp/
総務省2016及び2017年度SCOPE受託事業「地理空間情報と環境情報を活用した災害避難共助支援による減災力向上に関する研究開発」
http://www.soumu.go.jp/main_content/000419821.pdf

応用地質(株)
火災延焼シミュレーション
https://www.oyo.co.jp/business_field/fire-spread-simulation/

(独)建築研究所
http://www.kenken.go.jp/japanese/contents/publications/epistura/pdf/41.pdf

国際航業(株)
http://www.kkc.co.jp/service/bousai/fire_sim.html

Friday, November 24, 2017

気象庁GPV

出典：
気象庁：http://www.data.jma.go.jp/developer/gpv_sample.html
気象業務支援センター：http://www.jmbsc.or.jp/jp/online/f-online0.html

GPV
気象予測
・全球予測GMS：四次元変分法、20km格子、11日
　GWM
　RSM：領域
・メソ予測MSM：5㎞メッシュ　39時間、四次元変分法
　　　00
           PLM018
           PMH018
           SFC018
        06
        12
        18　
・局地予測LFM：2kmメッシュ　9時間、3次元変分法
・週間アンサンブルEPSW/WFM：1.25度格子、11日
・1か月予測アンサンブルEPS1（2.5度格子）
・3か月予測（2.5度格子）
・暖・寒候期予報（6か月アンサンブル）

●海洋予測
・GWM：全球波浪
・CWM：沿岸波浪
・WEM：波浪アンサンブル
・海水温・海流予測：0.1度/0.5度格子、3か月

●観測データ
・アメダス
・全国合成レーダーエコー強度データRDR（1km格子）
・ひまわり8号（1km/4km格子）
・高分解能雲（0.2度格子）

2006年3月以降のMSMデータはGRIB2形式になっているのでwgrib2を使って読む．

気象情報可視化ツール Wvis (Windows, AVS/Expressのランタイムアプリケーション)
http://www.cybernet.co.jp/avs/download/wvis.html

全般
http://www.data.jma.go.jp/add/suishin/jyouhou/pdf/205.pdf

２週間・１か月アンサンブル数値予報モデルGPV（高分解能日本域)の提供について（2017.4）
http://www.data.jma.go.jp/add/suishin/jyouhou/pdf/460.pdf

局地数値予報モデルLFM
http://www.data.jma.go.jp/add/suishin/jyouhou/pdf/388.pdf
http://www.data.jma.go.jp/add/suishin/jyouhou/pdf/454.pdf

Thursday, November 23, 2017

GEBCO海底地形

GEBCO（General Bathymetric Chart of the Oceans）
UNESCOの国際水路協会IHOとIOCの共同プロジェクト。グリッド間隔は30秒（約900m）と１分（約1.85km））
http://www.gebco.net/

大洋水深総図（Wikipedia(jp)）

30秒グリッド
https://www.gebco.net/data_and_products/gridded_bathymetry_data/gebco_30_second_grid/
船の測深データを衛星重力データで補完。

地形データ（世界）

○経済産業省 ASTER全球3次元地形データ（GDEM、30m解像度）
http://www.jspacesystems.or.jp/ersdac/GDEM/J/

○US Geological Survay
・USGS EarthExplorer (EE)
http://earthexplorer.usgs.gov/

・USGS Global Visualization Viewer (GloVis)（要JAVA）
http://glovis.usgs.gov/

・ETOPO1（米国地球物理データセンターNGDCが提供。1分＝約1.8km解像度）
https://www.ngdc.noaa.gov/mgg/global/global.html

・STRM3（スペースシャトルのレーダー観測。90m。陸上のみ）
http://e4ftl01.cr.usgs.gov/SRTM/SRTMGL1.003/2000.02.11/
http://e4ftl01.cr.usgs.gov/SRTM/SRTMGL3.003/2000.02.11/

・GTOPO30（陸上＋海底地形、解像度30秒＝約900m）
https://lta.cr.usgs.gov/GTOPO30

・GEBCO
本ブログ内：https://earthsimulation.blogspot.com/2017/11/gebco.html

・IBCAO（International Bathymetry Chart for Arctic Ocea。北極海の海底地形。500mグリッド）
https://www.gebco.net/data_and_products/gridded_bathymetry_data/

・GMRT（Global Multi-Resolution TOpography Data Synthesis。マルチビーム測深データ）
https://www.gmrt.org/

・GLCC: GLOBAL LAND COVER CHARACTERIZATION
http://edc2.usgs.gov/glcc/glcc.php

Tuesday, November 14, 2017

(株)計算力学研究センター

(株)計算力学研究センター RCCM
http://www.rccm.co.jp/product/

流体解析ソフト
ANSYS Fluent
Polyflow
http://www.rccm.co.jp/development/fluid/

風環境シミュレーション

(株)環境シミュレーションESim
3次元熱流体解析ソフト　WindPerfectDX
http://www.env-simulation.com/jp/?p=562

(株)大林組
風環境シミュレータ　Zephyrus
https://www.obayashi.co.jp/chronicle/database/t45-2.html
https://www.obayashi.co.jp/technology/shoho/069/leeflet/2-366.pdf
https://www.obayashi.co.jp/technology/shoho/064/64-09.pdf
http://s3.amazonaws.com/zanran_storage/www.obayashi.co.jp/ContentPages/43710214.pdf#search='zephyrus+%E3%83%93%E3%83%AB%E9%A2%A8'
http://www.aij.or.jp/jpn/publish/cfdguide/

AGCアニメテック(株)
GSMAC3D （旭硝子・中央研究所）
http://cae.agac.co.jp/contents/material/#simu01

(株)熱流体エンジニアリング
http://www.tf-eng.com/solution_02.html

Monday, November 6, 2017

MASCOT

(株)水域ネットワーク
非線形風況予測モデル「MASCOT」（Microclimate Analysis System for Computer Terrain ）
http://aquanet21.co.jp/mascot/

価格表
http://aquanet21.co.jp/mascot/price.htm