外部の API を呼ぶプログラムが遅いとき、「自分のプログラムが悪いのか、相手の API やネットワークが悪いのか」がうやむやになりがちです。curl の -w オプションを使うと、通信の段階ごとにかかった時間を出せるので、どこが遅いかを切り分けられます。
GET で測る
Windows(PowerShell)
curl.exe -so NUL -w "dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total} status=%{http_code}\n" https://example.com/
Linux / Mac
curl -so /dev/null -w "dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total} status=%{http_code}\n" https://example.com/
-sは進み具合を表示しない、-o NUL(Linux は-o /dev/null)は本文を捨てる、という意味です。- PowerShell では
curlが別のコマンドの別名のことがあるので、curl.exeと打ちます。
POST で測る(API 向け)
送る中身を body.json に保存しておき(UTF-8)、ファイルから読ませます。
Windows(PowerShell)
curl.exe -so NUL -w "dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total} status=%{http_code}\n" -X POST -H "Content-Type: application/json" -d '@body.json' https://api.example.com/xxx
Linux / Mac
curl -so /dev/null -w "dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total} status=%{http_code}\n" -X POST -H "Content-Type: application/json" -d @body.json https://api.example.com/xxx
- PowerShell では
@に特別な意味があるので、'@body.json'のように引用符で囲みます。 - 認証のトークンは
-H "Authorization: Bearer ..."で付けられます。コマンドの履歴や共有する資料にトークンを残さないように気をつけてください。
5 回続けて測る
1 回だけでは当てにならないので、何回か続けて測ります。
Windows(PowerShell)
1..5 | ForEach-Object { curl.exe -so NUL -w "dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total} status=%{http_code}\n" https://example.com/ }
Linux / Mac
for i in 1 2 3 4 5; do curl -so /dev/null -w "dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total} status=%{http_code}\n" https://example.com/; done
結果の読み方
dns=0.025 tcp=0.054 tls=0.114 first_byte=0.155 total=0.160 status=200
数字は「コマンドを打ってから、その段階が終わるまでの秒数」です。前の数字を引くと、その段階にかかった時間になります。
| 段階 | 計算 | 例 | 大きいときに疑うところ |
|---|---|---|---|
| DNS | dns | 25 ミリ秒 | DNS サーバの応答 |
| TCP の接続 | tcp − dns | 29 ミリ秒 | 相手が遠い、ネットワークが混んでいる。ここが往復時間の目安 |
| TLS の手続き | tls − tcp | 60 ミリ秒 | 暗号の手続き、証明書の確認 |
| 最初の 1 バイト | first_byte − tls | 41 ミリ秒 | ここから往復時間(TCP の値)を引いた残りが相手のサーバの処理時間 |
| 受け取りきる | total − first_byte | 5 ミリ秒 | 応答が大きい |
プロキシを通すとき
会社から外に出るときは、プロキシを通すことが多いです。curl.exe は Windows のプロキシ設定を見ないので、-x でプロキシを指定します(環境変数 HTTPS_PROXY でも可)。
Windows(PowerShell)
curl.exe -so NUL -x http://proxy.example.local:8080 -w "dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total} status=%{http_code}\n" https://api.example.com/xxx
Linux / Mac
curl -so /dev/null -x http://proxy.example.local:8080 -w "dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total} status=%{http_code}\n" https://api.example.com/xxx
プロキシを通すと、相手の名前を引くのも相手につなぐのもプロキシの仕事になるので、数字の意味が変わります。
| 項目 | 直接つなぐとき | プロキシを通すとき |
|---|---|---|
| dns | 相手の名前を引いた時間 | プロキシの名前を引いた時間 |
| tcp | 相手までの接続 | プロキシまでの接続 |
| tls | 相手との TLS | プロキシへの依頼(CONNECT)+ プロキシが相手の名前を引いて接続 + 相手との TLS |
| first_byte | 相手の処理 | 相手の処理(+ プロキシの中継) |
プロキシ経由で tls だけ大きいときは、プロキシか、その先のどちらかが遅いということです。
プロキシを通っているか確かめる
-v を付けると、通った経路が表示されます。CONNECT api.example.com:443 が出ればプロキシを通っています。
curl.exe -sv https://api.example.com/ -o NUL
会社のプロキシの設定を調べる
Windows の PC
netsh winhttp show proxy reg query "HKCU\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v ProxyServer reg query "HKCU\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v AutoConfigURL
ProxyServerに値がある … プロキシのアドレスが直接設定されているAutoConfigURLに値がある … PAC ファイル(宛先ごとにプロキシを決めるファイル)で設定している- どちらもない … 透過プロキシ(途中の機器が自動で通す)、Zscaler などのアプリ、またはプロキシなし
Linux のサーバ
env | grep -i proxy
PC とサーバで外への出方が違うことはよくあります。測るのはプログラムが動いているサーバで、ルールがわからなければネットワークの担当者に確かめます。
プログラムと比べる
プログラムが動いているのと同じサーバで、同じ API に curl を打って比べます。
| 結果 | 疑うところ |
|---|---|
| curl は速い。プログラムだけ遅い | 自分のプログラム |
| curl も「最初の 1 バイト」が遅い | 相手の API の処理 |
| curl も DNS・TCP・TLS が遅い | ネットワーク、DNS、プロキシ |
プログラムだけ遅いときによくある原因は、API を呼ぶたびに HTTP クライアントを作り直していることです。毎回 DNS・TCP・TLS をやり直すことになり、1 回ごとに上の表の「準備」の時間を払います。HTTP クライアントは 1 つ作って使い回します。また、プログラムと curl でプロキシの設定が違うと比較にならないので、上の「プロキシを通すとき」のとおり、そろえてから測ります(Java などのプログラムも、Windows のプロキシ設定とは別に独自の設定を持っています)。
