cha_pppo blog

i have an unbeknown dictionary. everything is up to me.

Server Manager起動時に個々の管理サーバーにおいて権限試行した旨のSecurity Logが出力される

Windows Server(2012R)のServer Managerを起動したところ、個々の管理サーバー辺り300件程度、以下のeventlogが出力されていた。 An operation was attempted on a privileged object - System - Provider [ Name] Microsoft-Windows-Security-Auditing [ Gu…

AWS Availability Zone間のLatencyはどのくらいなのか

AWS Aurora(Postgres)とEC2のAvailability Zoneが同一である場合とそうでない場合を比較し、リクエストの多いバッチの処理時間が2倍程度掛かっていた(Query durationは同じ)。 Availability Zone間のトラフィックは超高速ファイバーによりLatencyが極めて低…

Setup local Mac (MacBook Pro 2018)

MacBook Proを新しい端末へ替えた時のsetup手順をメモする。 Environment MacBook Pro 2018 macOS Mojave 10.14.6 HomeBrew 旧PCにてbrewでinstallしたpackageのlistを抽出。 # backup brew bundle dump --file=brew_bk_yyyymmdd cat brew_bk_yyyymmdd tap "…

AWS Configは通知ノイズが大きい

aws

AWS Configを通して何が実現出来るのか AWS Resourceの変更通知。 AWS Resourceの変更履歴の検索。 AWS Resourceの構成情報や設定変更ログのSnapshotをS3に保存。 Multi accounts, Multi regionsでAWS resourceの変更を追跡、通知可能。 Managed Rule, Custo…

コミット履歴の削除

git

概要 秘匿情報を過去にコミットしたことがある場合等で、特定のディレクトリのみ、コミット履歴から削除する。 手順 $ git filter-branch -f --index-filter 'git rm -rf --ignore-unmatch {path_to_directory}' HEAD # or $ git filter-branch -f --index-f…

CloudWatch LogsからElasticsearch ServiceにLogs Streamする場合にIndex名を変えたい

概要 CloudWatch Logsは、Subscription設定時に作成されたLambda Functionを介してElasticsearch Serviceにデータを格納する。 Function名は LogsToElasticsearch_{Elasticsearch domain_name} という形式で作成される。 Function内では、CloudWatch Logsか…

wrong answer on RCPT TO "454 4.7.1 <xxx@xxx.com>: Relay access denied"

概要 CentOSのコンテナ上でPostfixのインストール〜設定を行っている。 数ヶ月ぶりにビルドした所、postfixが表題のエラーを吐き、メールが送られなくなった。 設定周りは変更せずbuildした為、直接の原因は不明。インストールversionも固定している。 原因…

PandasでセットしたdataframeからPostgreSQLへデータ投入

environment mac OS Mojave 10.14.2 psql (PostgreSQL) 11.1 pg_ctl (PostgreSQL) 11.1 PostgreSQL 11.1 lxml 4.3.1 html5lib 1.0.1 beautifulsoup4 4.7.1 SQLAlchemy 1.2.18 pandas 0.24.1 pandasとは Python用データ分析library。 data frame(2次元table)…

Django Basic 環境構築〜view作成

startup page. Install pip install Django Environment django-admin --version 2.2.2 Feature Djangoの特徴は以下の通り。 機能拡張が豊富。 以下、標準装備。 user auth 管理サイト機能 cache機能 多言語翻訳機能 migrationが容易。 MTV framework。 mode…

Python debug

PATH関連 pip packageのinstall先 pip -V pip 19.1.1 from /Users/xxx/.pyenv/versions/3.7.0/lib/python3.7/site-packages/pip (python 3.7) Pythonが読み込むlibraryのPATHを確認する python -c 'import sys; print(sys.path)' pprintで標準出力を見易くす…

PostgresへTCP監視するとエラーログに"incomplete startup packet"が出力される

Zabbixの監視等でPostgres:5432へTCP/IP接続を行うと、エラーログに以下の通り吐かれる。 これは、Postgresサーバへトラフィック送信無しで接続・切断した為。 2018-01-25 14:58:42 UTC:10.0.11.11(46111):[unknown]@[unknown]:[7151]:LOG: connection recei…

dein.vimの設定

vim

Premise neovim が既にインストールされ、利用可能であること。 .vim .vimrc ではなく .config init.vim を利用していること。 Setting Example init.vim "dein Scripts----------------------------- if &compatible set nocompatible endif let s:dein_dir…

Windows: TCP connection過多によるsocket通信が出来ない場合の対応

障害例 frontend, (clientからのrequestを受けるweb server等が乗っているserver), backend(forntend serverから渡ってきたdataを処理して返すDB等) serverの両者間における通信でTCP connectionが過剰となり,clientがエラーを経験した. clientの体験として…

PostgreSQL: Updateで大量の行を処理時にWAF Archiver停止、DB停止した為PITRした

事象 WALのarchive commandが停止, 続いてDBも停止した。 挙動の確認はPostgreSQL9.6。 # 出力されたerror. could not write to file "pg_xlog/xlogtmp.111111" No space left on device 原因 Updateで大量の行を処理(既存データのクレンジング)しようとした…

Gitの設定やらコマンドやら

git

Environment git version 2.20.1 (Apple Git-117) user setting globalを汚したく無い場合は --local で。 git config --global user.name "cha_pppo" git config --global user.email "xxx@xxx.com" 現在の設定を確認する。 git config --list stagedしたも…