Wednesday, October 31, 2018

コネクション型通信とソケット通信

●総論
・初心者にもわかる【TCP/UDP】~違いや共通点、使い分け、ポート番号について~
https://milestone-of-se.nesuke.com/nw-basic/tcp-udp/tcp-udp-summary/

●コネクション型通信(ストリーム型通信)
・コネクション型とコネクションレス型通信
http://www.fc-lab.com/network/program/berkley/connection.html
コネクション型プロトコル:TCP/IPのうちTCP

●ソケット通信(TCP/IP通信)
・知ったかぶりをしていたソケット通信の基礎を改めて学んでみる
https://qiita.com/megadreams14/items/32a3eed4661e55419e1c
・Pythonでソケット通信を行う方法【初心者向け】
https://techacademy.jp/magazine/19147

プログラムの世界とTCP/IPの世界を結ぶ特別な出入口がソケット。
TCP/IP通信をソケット通信と呼ぶこともある。

クライアントプログラム
http://research.nii.ac.jp/~ichiro/syspro98/client.html

コネクション型通信:サーバプログラムの作成
http://research.nii.ac.jp/~ichiro/syspro98/server.html

●コネクションレス型通信(データグラム型通信)
コネクションレス型プロトコル:TCP/IPのうちIP.UDP
ブロードキャスト、IP電話、Web会議、チャット、動画ストリーミングで使用されている。

・一斉同報やストリーミングはUDPならではの通信方法
https://tech.nikkeibp.co.jp/it/article/COLUMN/20070713/277538/
・コネクションレス型ソケットの作成
https://www.ibm.com/support/knowledgecenter/ja/ssw_ibm_i_73/rzab6/connectionless.htm
・TCP/IP - UDP
https://www.infraexpert.com/study/tcpip12.html

●ネットワーク通信について
https://developer.apple.com/jp/documentation/NetworkingInternetWeb/Conceptual/NetworkingOverview/Introduction/Introduction.html

Tuesday, October 30, 2018

データベースソフト

オラクル、SQLサーバ、MySQL、インフォミックスなどがある。

>データベース・インタフェース
https://rfs.jp/sb/perl/06/01-7.html

サーバー

ウェブの仕組み:
① クライアント側のブラウザにURLを入力すると、HTTPプロトコルでリクエストが送られる。
② Webサーバはリクエストを受け付けてリクエストされたURLのHTTPページを返す(レスポンス)。
③ クライアント側のブラウザは返ってきたHTTPページを表示する。

サーバーとは?:PCにウェブサイトを表示するためのサーバーソフトがインストールされているもの。
① ブラウザから、開きたいサイトのアドレス(http://~)を送ると、
② サーバの中に入っているWebサーバのソフトウェアが
 a. パース:送られてきたリクエストを解釈する 
 b. データの取得:送られてきたURIを元に必要なデータを取りに行く
 c. レスポンス文字列の作成
して、Webサイト表示に必要なデータをクライアントに送り返す。
③ クライアント側のブラウザに表示する。

サーバーとは 
https://www.seohacks.net/basic/terms/server/

サーバって何?初心者でもわかる4つのサーバの種類 2018
https://www.marketingbank.jp/special/cat02/21.php

今更聞けない!Webサーバーの仕組みと構築方法 2016
https://eng-entrance.com/web-server-mechanism

機械系の学生へ向けたサーバー入門 2016
http://kengo700.hatenablog.com/entry/2016/02/25/%E6%A9%9F%E6%A2%B0%E7%B3%BB%E3%81%AE%E5%AD%A6%E7%94%9F%E3%81%B8%E5%90%91%E3%81%91%E3%81%9F%E3%82%B5%E3%83%BC%E3%83%90%E3%83%BC%E5%85%A5%E9%96%80

超絶初心者のためのサーバとクライアントの話 2016
https://qiita.com/shuntaro_tamura/items/ae55b99deb9e2a170754

【初心者向け簡単解説】サーバとは? 2017
https://eng-entrance.com/linux-server

NOAAのScience On a Sphere

https://sos.noaa.gov/What_is_SOS/

FTPサーバ
ftp://public.sos.noaa.gov/
・天文
・・・・
・大気
オーロラ、カリスト、セレス、シャロン、ディオン、月、日食、エンケラドゥス、エウロパ、ガニメデ、ハッブル、ヤペタス、イオ、木星、ケプラー、Iro、月食、火星、水星、天の川、ミマス、海王星、Phoebe、天王星、Rhes、土星、SOHO、太陽系、テシス、タイタン、Trappist、ウラヌス、金星、WMAP、X線太陽
・データベース
一酸化炭素、ハリケーン、エアロゾル、交通、衛星、Aqua、炭素フラックス、FIM、化石燃料、福島、静止衛星、Harvey、Iruma、Isaac、ISS起動、陸の気温、雷、ITG Vaisala、二酸化窒素、NASA衛星、NCCSモデル、NOAA衛星、Pclim、POES衛星、再解析、Sandy、太陽同期衛星、気温偏差、熱帯Widening、台風Haiyan、火山灰、水蒸気
・Extras
・・・・
・2016年1月の嵐
・・・・
・陸域
農業、鳥、Blue Marble、Dams、昼と夜、地震、時期、ETOPO1、2、火災、洪水、食料、森林、地磁気移動、植生、GRACE、灰色の地球、Hot Topo、IRSAT夜の明かり、東日本大震災、Koppen Climate、陸面被覆、土地の生産高、緯度経度、磁気傾斜、夜空、原発と地震、Pantropicalバイオマス、プレート運動、川の洪水、海底の年齢、地震波、地表の温度、Top Quakes、火山噴火
・Live program
・・・・
・モデル
・・・・
・海洋
海氷、海面上昇、ウミガメの追跡、ISS、動物の追跡、Argoブイ、Atl Turtle、ブイの位置、Catch Model、クロロフィル、Dartブイ、漂流ブイ、ECCO2海面水温、エルニーニョ、GFDLの海面水温、グリーンランドの融解、インド洋津波、東日本大震災の津波、Mexico Turtle、MJO、MODISの海面水温、NASAのSpeedとSST、海洋酸性化、海洋深層循環、Ocean Drain、油流出、Pac Turtle、植物プランクトン、PR津波、サンゴ礁のリスク、海水順、海面高度、海氷の放射、SeaWiFS、サメ、船の航跡、輸出入、生物多様性、SSS、津波の歴史、風ベクトル、Vent Discoveriesアニメ、渦度、波浪
・プレイリスト
・・・・
・RT
・・・・
・Temporary
・・・・

Monday, October 29, 2018

ダジック・アース

四次元デジタル地球儀
https://www.dagik.net/

ウェブブラウザ版
http://dagik.org/dow/

気象・海洋
雲の動き(春、梅雨、夏、冬)、台風(日本、南半球)、大雨、ひまわり、気温、風速、オゾン、夜光雲、エルニーニョ・ラニーニャ、海水塩分、しずく(積雪深、海氷密接度・海面水温)
地殻・地球内部
森林、土壌水分、積雪、行程、ジオイド・重力異常、プイレート境界、大陸移動、地磁気異常、地震、地震はトモグラフィ、街灯り、昼と夜、太陽の動き、日食、GNSS衛星の動き、SLR衛星の動き
地球・月・惑星
地球、月、水星、金星、火星、木星、土星、天王星、海王星、冥王星、星の配置・星座
ジオ・スペース
オーロラ、大気光、地震と電離層、磁場、太陽
その他
日本最古の地球儀、ボール、資源




地球流体電脳倶楽部

https://www.gfd-dennou.org/
GFD Dennou Club

Web API

Web API: API提供者とAPI利用者とのやりとりをHTTP/HTTPSベースで実現するAPIのこと。ネットワーク越しに利用できる関数。URLが関数名、引数を渡すことで結果が変化する。
外部プログラム=ブラウザ(JavaScript)やネイティブアプリなどからのHTTP通信によるアクセスでは、サーバー上のデータに直接アクセスできない。Web APIは外部プログラムとサーバーとの間を仲介するが、Web APIが提供する機能を利用すること以外はできない。
Web APIはHTTPプロトコルによるリクエストとレスポンスでやりとりする。
① サーバ側ではリソースごとにエンドポイントがURLで割り当てられている。


・Web API入門 第1回 APIの概要とデータの取得(第2回以降は要購読)
https://app.codegrid.net/entry/2018-web-api-1
 Web APIはhtmlで書かれていて、アクセス先(リソース)毎のURI(エンドポイント)が書かれている。

・Web APIとは何なのか 2017
https://qiita.com/NagaokaKenichi/items/df4c8455ab527aeacf02
・APIとは何か? Web APIとの違い、利用者のタスクを解説 (1/2) 2018(続きは要会員登録。有料)
http://techtarget.itmedia.co.jp/tt/news/1806/13/news01.html
・5分で分かるWebAPI 2015
https://developer.ntt.com/ja/blog/5%E5%88%86%E3%81%A7%E5%88%86%E3%81%8B%E3%82%8BWebAPI
・第1回 APIの概要とデータの取得(続きは要会員登録)2018
https://app.codegrid.net/entry/2018-web-api-1
・APIとは? 2016
https://qiita.com/jonathanh/items/6394ffb5b5ad86ae914f
・Web API入門 2015(SlideShare)
https://www.slideshare.net/tmasao/web-api-49080729
・5分で絶対に分かるAPI設計の考え方とポイント(続きは要会員登録。無料)
http://www.atmarkit.co.jp/ait/articles/1511/19/news022.html
 Web APIの代表的な実装方式として、REST(REpresentational State Transfer)とSOAPが存在するが、APIといえばRESTというぐらいにRESTが主流。
レスポンスはかつてXMLだったがJSONがよい。

・WebAPIについての説明 2018
https://qiita.com/busyoumono99/items/9b5ffd35dd521bafce47
 関数がURLになっていて、http://関数のURL/search?キーKey=引数Value
をブラウザ上で実行すると、JSON又はXMLで答えが返ってくる。

・HTMLでWeb APIをつくる 2014
https://qiita.com/tkawa/items/0efd49ad07d39531a520

・【徹底解説】Web APIの使い方まとめ 2017
https://itpropartners.com/blog/8546/

認証付きWeb API
認証を含む API 開発で検討すべきこと
・Web API認証について
http://blog.virtual-tech.net/2014/01/web-api.html
 基本、認証は送信先URLが分かるようにブラウザで行うべき
・APIのセキュリティ対策をガートナーが解説、具体的に押さえるべき3つのポイントとは 2018(続きは要会員登録。無料)
https://www.sbbit.jp/article/cont1/35205
・Web APIアクセス制御の最適解 2016(Slide Share)
https://www.slideshare.net/daisuke_m/spring-day-2016-web-api

Web APIの脆弱性
第6回 WebAPI,認証APIのセキュリティ 2007 http://gihyo.jp/dev/serial/01/web20sec/0006


Web APIを活用した農業環境データベースシステムの横断利用
本ブログ内https://earthsimulation.blogspot.com/2018/08/blog-post_28.html

生物分野におけるWeb APIの Web APIの適用
https://www.jstage.jst.go.jp/article/jsik/19/2/19_19-86/_pdf

Amazon S3 REST API

Amazon S3(Simple Strage Service)とはバックアップ/静的コンテンツ向けストレージ。月額:約4円($0.033)/GBだが大きな堅牢性。容量制限なし。ただし1ファイル:1TBまで。

AWS再入門 Amazon S3編
https://dev.classmethod.jp/cloud/aws/cm-advent-calendar-2015-aws-re-entering-s3/

UKのJASMINはAWS S3とOPeNDAPを用意している。

AWS S3のアクセス管理
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/s3-access-control.html


Thursday, October 25, 2018

JASMIN

NERCが設立した環境データのmulti-petabyte data analysis facility
CEDA data center(NERCの執行機関)に置かれている。
http://www.jasmin.ac.uk/

JASMIN and the adoption of cloud-native architecture for managing data and compute at scale (2017)
https://www.ecmwf.int/sites/default/files/elibrary/2017/17148-jasmin-and-adoption-cloud-native-architecture-managing-data-and-compute-scale.pdf

JASMIN and the role of Cloud Computing in realising a Big Data facility for the Environmental Sciences (2017)
https://presentations.copernicus.org/EMS2017-332_presentation.pdf

The JASMIN Cloud (2014)
https://presentations.copernicus.org/EGU2014-10820_presentation.pdf

Storing and manipulating environmental big datawith JASMIN (2013, ResearchGate)
https://www.researchgate.net/publication/260979040_Storing_and_manipulating_environmental_big_data_with_JASMIN

Copernicus
Centre for Environmental Data Archival (CEDA)
http://www.ceda.ac.uk/
CLIPC (Climate Information Platform for Copernicus)
http://www.ceda.ac.uk/projects/clipc/
http://www.clipc.eu/



Thursday, October 11, 2018

ECMWFのTOS

Users accessing or using the ECMWF computing services do so under the terms and conditions detailed on this page.

Conditions of access to the ECMWF computing services
In accessing or using ECMWF computing services users agree that they will;
- use their access solely in accordance with Article 2(2)(e) of the ECMWF Convention:
“The objectives of the Centre shall be: … 
e) to make available to the Member States for their research, priority being given to the field of numerical weather forecasting, a sufficient proportion of its computing capacity, such proportion being determined by the Council;”

- use their access in accordance with Annex A.3 of the Centre's Computer Security Policy, as laid down in ECMWF Computer Bulletin B0.2/3 which states;
"Annex 3 Passwords and smart cards [tokens]
> Passwords and smart cards protect the Centre's computer systems against unauthorised access. Smart cards are personal access tokens and, like user identifiers, are issued to users for their sole use. The underlying authentication process is based on the physical possession of these cards; hence smart cards must be kept securely (similar to credit cards).
> Login passwords and the PINs of smart cards must be kept confidential and must not be disclosed to other persons 
> All users shall: 
* employ non-trivial passwords and PINs; .... 
* safeguard smart cards issued to them against physical access by other persons;
* change passwords or PINs whenever there is any indication that the passwords or PINs have been compromised; 
* report lost or stolen smart cards without delay. Member State users should report lost or stolen cards to ..... the Call Desk at ECMWF"

- use their access only for the purpose for which access to the ECMWF computing services has been granted;

- use the user identifier and/or security token for their own sole use and will not make it available to another person under any circumstances;

- return any token they might have been given to the appropriate Member or Co-operating State Computing Representative when access to the token-protected computing services at ECMWF is no longer required.

In addition to above agreement users understand that their token will be enabled only when the token declaration has been signed and returned to the appropriate Member or Co-operating State Computing Representative or, for ECMWF personnel ONLY, to the relevant member of staff at ECMWF. Any token received remains the property of ECMWF and may be revoked at any time.

Monday, October 8, 2018

ユーザ認証API、ソーシャルログイン

ユーザー認証API
モバイルアプリのユーザ認証方法についてまとめてみた 2018-10-08
https://qiita.com/ledmonster/items/0ee1e757af231aa927b1

Web API認証について 2014年1月14日
http://blog.virtual-tech.net/2014/01/web-api.html

ここが危ない!Web2.0のセキュリティ 2007年9月5日
http://gihyo.jp/dev/serial/01/web20sec/0006

2段階認証:ID/PWのほか、いつもと違うデバイスからアクセスした場合に別の入力を求める。

「認証」の基礎知識(7):ワンタイムパスワードの方式 2017
https://www.segunabe.com/2017/05/16/auth_info07/

「HTTP」の仕組みをおさらいしよう(1/4)-認証とは?
http://www.atmarkit.co.jp/ait/articles/1608/10/news021.html
http://www.atmarkit.co.jp/ait/articles/1608/10/news021.html
① ブラウザにURLを入力すると、WebサーバにHTTPリクエストが送られる。そこに認証が設定されていると、サーバが要求する認証の種類をクライアントに通知する。
② ブラウザは認証ダイアログを表示する。
③ ブラウザは入力されたID/PWから認証情報を生成し、WebサーバにHTTPリクエストを送る。
④ ID/PWが正しければ、Webサーバはリクエスト内容を返すので、ブラウザはその内容を表示する。
HTTPで利用できる認証スキーム;Basic認証(IDとPWを繋いでBase64変換する)とダイジェスト認証(PWを送らない)がある。

ソーシャルログイン
Google sign in:https://developers.google.com/identity/
Facebook sign in: https://developers.facebook.com/docs/facebook-login/multiple-providers/

Amazon、Twitter、Yahoo:独自
LinkedIn、Instagram:FB sign up
ACADEMIA:Google sign up、FB sign up
ResearchGate:LinkedIn、FB sign up
Pinterest:Google sign up、FB sign up
YouTube:Google sign up
Skype:Microsoft sign up

Facebookによるソーシャルログインの問題点
https://japanese.engadget.com/2018/04/20/facebook/

ソーシャルログイン導入サービス
https://socialplus.jp/tour/
Facebook, Line, Google+, Twitter, Yahoo, 楽天など

ORCIDによるサインイン(ソーシャルサインインに似ている)
https://members.orcid.org/api/integrate/orcid-sign-in




Thursday, October 4, 2018

静的ウェブサーバと動的ウェブサーバ

静的ウェブサーバ:HTMLとCSSとJSファイルだけを元に表示されるウェブサーバ。
動的ウェブサーバ:リアルタイムでデータベースにアクセスしてウェブサイトを組み立てるウェブサーバ。

静的サイト
静的コンテンツとWebアプリケーションの配置を切り分ける
http://itdoc.hitachi.co.jp/manuals/link/cosmi_v0870/APSE/EU030209.HTM

脱WordPress!静的サイトの特徴やメリットなどのまとめ
https://webdesign-trends.net/entry/2076

静的サイトと動的サイトの違いは何?いまさら聞けないIT用語 2018
https://seotaisaku.co/glossary-news/what-difference-of-static-sites-and-dynamic-sites-too-late-it-terms-not-hear

セキュリティに強い静的配信型CMS
https://www.frameworks.co.jp/static-site-generator-cms.html

静的サイトが今、再注目されています!!
https://zeroichi.biz/news/static-site-revival/
 一番攻撃されやすいコードレイヤーとスクリプトエンジンレイヤーがそもそもない。その次に攻撃されやすいところはサービスレイヤーだが、静的サイトはFTPを使わないサービスもあるので、さらにセキュリティが強化される。

動的サイト
・以下の言語や環境はセキュリティホールになりうる。
Parl(cgi)、PHP、ASP、ASP.NET、Java、JavaScriptなど
・以下のCMS(Contents Management System)もセキュリティホールになりうる。
XOOPS、WordPress、PikiWiki、OpenPNE、Moodleほか
(HTMLやCSSは静的サイト)

WWWの基本技術・静的コンテンツと動的コンテンツ
http://juen-cs.dl.juen.ac.jp/html/www/005/

静的サイトのアクセス制御
S3の静的ホスティングで内部確認用に使える認証を設定する 2014
https://www.monster-dive.com/blog/server_network/20140404_000145.php

AWSを使ってみよう!(その18) - WEBサイト(S3)にアクセス制限 2017
https://www.pressmantech.com/tech/aws/4122

静的コンテンツのトークンベースのアクセス制御 2014
https://qiita.com/kawasima/items/f9ecf20e8d8ac7f126e9

認証を含む API 開発で検討すべきこと 2015
https://www.bokukoko.info/entry/2015/12/20/%E8%AA%8D%E8%A8%BC%E3%82%92%E5%90%AB%E3%82%80_API_%E9%96%8B%E7%99%BA%E3%81%A7%E6%A4%9C%E8%A8%8E%E3%81%99%E3%81%B9%E3%81%8D%E3%81%93%E3%81%A8

●セマンティック・ウェブ
本ブログ内https://earthsimulation.blogspot.com/2018/07/blog-post_31.html

●LOD
本ブログ内https://earthsimulation.blogspot.com/2018/10/lodsparql.html



LODとクエリ言語SPARQL

RDF用クエリ言語SPARQL W3C勧告 2008年1月15日
http://www.asahi-net.or.jp/~ax2s-kmtn/internet/rdf/rdf-sparql-query.html

LODとSPARQL入門
https://midoriit.com/2014/03/lod%E3%81%A8sparql%E5%85%A5%E9%96%801.html
https://midoriit.com/2014/03/lod%E3%81%A8sparql%E5%85%A5%E9%96%802.html
https://midoriit.com/2014/06/lod%E3%81%A8sparql%E5%85%A5%E9%96%803.html
https://midoriit.com/2014/09/lod%E3%81%A8sparql%E5%85%A5%E9%96%804.html

Linked Open Data(LOD)の基本理念と基盤となる技術 2017年6月18日
https://www.slideshare.net/KoujiKozaki/linked-open-datalod-77040726
Linked Open Data(LOD)を使うと“うれしい”3つの理由 2017年12月19日(火)
https://www.slideshare.net/KoujiKozaki/linked-open-datalod-84480642
SPARQLとMashup環境 2014年
https://www.slideshare.net/KohichiToshioka/sparqlmashup2014-09-13

Webの全てをデータベースにするLinked Open Data(LOD)とクエリ言語SPARQLの基礎 2014年08月12日
http://www.atmarkit.co.jp/ait/articles/1408/12/news006.html
http://www.atmarkit.co.jp/ait/articles/1408/12/news006_2.html
http://www.atmarkit.co.jp/ait/articles/1408/12/news006_3.html

e-Stat 統計LOD
SPARQL APIの概要:http://data.e-stat.go.jp/lodw/sparqlendpoint/api
SPARQL Queryのサンプル:http://data.e-stat.go.jp/lodw/sparqlendpoint/querysample

DBpedia
http://ja.dbpedia.org/
ウィキペディア

Wikidata
https://www.wikidata.org/wiki/Wikidata:Introduction/ja
ウィキペディア

ブルーオーシャン戦略

ベンチャーキャピタリスト高宮慎一が語る、ブルー・オーシャンの3パターン
https://news.finance.yahoo.co.jp/detail/20181003-00181076-diamond-column

まっさらな更地に、市場そのものを創っていくパターン
・新規技術など完全にゼロからユーザーや市場創りから始めなければならないケース
・リアルな世界の習慣、前の時代の習慣を、現代のものに置き換えるパターン
・そもそも市場がしっかりとある中で、市場を再定義して、新たにつくっていくもの