障害例 frontend, (clientからのrequestを受けるweb server等が乗っているserver), backend(forntend serverから渡ってきたdataを処理して返すDB等) serverの両者間における通信でTCP connectionが過剰となり、clientがエラーを経験した。 clientの体験とし…

TCP connection過多によるsocket通信が出来ない場合の対処 (Windows)

environment Chef Development Kit: 3.8.14 chef-client version: 14.10.9 berks version: 7.0.7 kitchen version: 1.24.0 inspec version: 3.6.6 background chefを利用するのに bundle install して利用していたが、依存関係で嵌ると沼から抜け出せない事…

chefを利用するのにbundle installを辞めて、chefDKを採用

machinekeyとは machineKey 要素 (ASP.NET 設定スキーマ) | Microsoft Docs 主にform認証data、view(html)に出力される管理情報(state data)の暗号化、復号化、検証を行う目的で使われるkey。 認証用cookieやviewにおいて、改ざん防止・暗号化が可能。 machi…

machinekeyについて

概要 今回 halu.dev のdomainを取得したので www.xxx.net (念為伏) から引っ越した。S3のstatic website hostingにおけるredirectは勿論 http -> https は可能だが、 https -> https は不可である。 例えば以下のようにredirectさせる。 www.xxx.net -> www.…

AWS S3とCloudFrontで301 redirectさせる

随時更新する。基本的な使い方は公式サイトに記載されているが、癖のある閾値の見方をするトリガー設定もある為、メモしておく。 regexp(), iregexp() 最新値がregular expressionと一致するかどうかチェックする。 parameterはPOSIXのregular expression。 …

Zabbix Trigger設定例

概要 zabbixサーバのwebサーバ用として利用しているNginxでGrafanaへreverse proxyしている。 client -> ALB -> Web server(zabbix用) -> (Nginxによるreverse proxy) -> grafana グラフ描画する際のクエリdurationが大きい場合、Nginx側で504 timeoutしてし…

Grafanaのグラフ描画時に504 Gateway Timeoutが発生する場合がある

environment PostgreSQL 11.1 lxml 4.3.1 html5lib 1.0.1 beautifulsoup4 4.7.1 SQLAlchemy 1.2.18 pandas 0.24.1 事前準備 www.halclan.net 上記、作成したdataframeを利用。 www.halclan.net PostgreSQLはlocalにパパっと立てたものを取り急ぎ利用。 requi…

PandasでセットしたdataframeからPostgreSQLへデータを投入

environment mac OS Mojave 10.14.2 psql (PostgreSQL) 11.1 pg_ctl (PostgreSQL) 11.1 install brew doctor brew update brew install postgresql ...{ellipsis}... To migrate existing data from a previous major version of PostgreSQL run: brew postg…

MojaveにhomebrewでPostgreSQLをinstall

environment pandas 0.24.1 lxml 4.3.1 html5lib 1.0.1 beautifulsoup4 4.7.1 pandasとは Python用データ分析library。 data frame(2次元table)形式を扱える。 公式サイト csvをtsvへ変換 test.csvを準備。 fixed acidity,volatile acidity,citric acid,resi…

pandasを触ってみる (web scrapingしてdataframeへセット、tsv出力)

基本的な手順は公式サイトの通り。 Debugのステップ Python のExtensionをinstall。 launch.json を編集。 当該ファイルを開く( "console": "integratedTerminal" の場合 )。 Debug実行。 launch.json attributes program debug対象ファイルへの絶対パス デ…

VS CodeでPython Debug

あるプロジェクトが完了した後、RealTimeBoardというツールを利用してKPT(Keep/Problem/Try) 振り返りを行った。 Sign up | RealtimeBoard 流れ Keep, Problem, Tryそれぞれのフェーズ毎に付箋を5分以内に記載し、それに対し各フェーズで意見を出し合う形を…

RealTimeBoardでKPTを行ってみて

環境 Zabbix 4.0.1 (Cent OSコンテナ上に構築) コンテナオーケストレーション: Amazon Elastic Container Service (EC2 type) 概要 Zabbix GUI上から、1ホストにつき5000程アイテムを所有するホストを複数削除した後、表題のエラーが発生。 計40000アイテム…

Zabbix housekeeper processes more than 75% busyへの対処

Windows Server(2012R)のServer Managerを起動したところ、個々の管理サーバー辺り300件程度、以下のeventlogが出力されていた。 An operation was attempted on a privileged object - System - Provider [ Name] Microsoft-Windows-Security-Auditing [ Gu…

Server Manager起動時に個々の管理サーバーにおいて権限試行した旨のSecurity Logが出力される

AWS Aurora(Postgres)とEC2のAvailability Zoneが同一である場合とそうでない場合を比較し、リクエストの多いバッチの処理時間が2倍程度掛かっていた(Query durationは同じ)。 Availability Zone間のトラフィックは超高速ファイバーによりLatencyが極めて低…

AWS Availability Zone間のLatencyはどのくらいなのか

AWS Configを通して何が実現出来るのか AWS Resourceの変更通知。 AWS Resourceの変更履歴の検索。 AWS Resourceの構成情報や設定変更ログのSnapshotをS3に保存。 Multi accounts, Multi regionsでAWS resourceの変更を追跡、通知可能。 Managed Rule, Custo…

AWS Configは通知ノイズが大きい