cha_pppo blog

i have an unbeknown dictionary. everything is up to me.

コミット履歴の削除

git

概要 秘匿情報を過去にコミットしたことがある場合等で、特定のディレクトリのみ、コミット履歴から削除する。 手順 $ git filter-branch -f --index-filter 'git rm -rf --ignore-unmatch {path_to_directory}' HEAD # or $ git filter-branch -f --index-f…

CloudWatch LogsからElasticsearch ServiceにLogs Streamする場合にIndex名を変えたい

概要 CloudWatch Logsは、Subscription設定時に作成されたLambda Functionを介してElasticsearch Serviceにデータを格納する。 Function名は LogsToElasticsearch_{Elasticsearch domain_name} という形式で作成される。 Function内では、CloudWatch Logsか…

wrong answer on RCPT TO "454 4.7.1 <xxx@xxx.com>: Relay access denied"

概要 CentOSのコンテナ上でPostfixのインストール〜設定を行っている。 数ヶ月ぶりにビルドした所、postfixが表題のエラーを吐き、メールが送られなくなった。 設定周りは変更せずbuildした為、直接の原因は不明。インストールversionも固定している。 原因…

PandasでセットしたdataframeからPostgreSQLへデータ投入

environment mac OS Mojave 10.14.2 psql (PostgreSQL) 11.1 pg_ctl (PostgreSQL) 11.1 PostgreSQL 11.1 lxml 4.3.1 html5lib 1.0.1 beautifulsoup4 4.7.1 SQLAlchemy 1.2.18 pandas 0.24.1 pandasとは Python用データ分析library。 data frame(2次元table)…

Django Basic 環境構築〜view作成

startup page. Install pip install Django Environment django-admin --version 2.2.2 Feature Djangoの特徴は以下の通り。 機能拡張が豊富。 以下、標準装備。 user auth 管理サイト機能 cache機能 多言語翻訳機能 migrationが容易。 MTV framework。 mode…

Python debug

PATH関連 pip packageのinstall先 pip -V pip 19.1.1 from /Users/xxx/.pyenv/versions/3.7.0/lib/python3.7/site-packages/pip (python 3.7) Pythonが読み込むlibraryのPATHを確認する python -c 'import sys; print(sys.path)' pprintで標準出力を見易くす…

PostgresへTCP監視するとエラーログに"incomplete startup packet"が出力される

Zabbixの監視等でPostgres:5432へTCP/IP接続を行うと、エラーログに以下の通り吐かれる。 これは、Postgresサーバへトラフィック送信無しで接続・切断した為。 2018-01-25 14:58:42 UTC:10.0.11.11(46111):[unknown]@[unknown]:[7151]:LOG: connection recei…

dein.vimの設定

vim

Premise neovim が既にインストールされ、利用可能であること。 .vim .vimrc ではなく .config init.vim を利用していること。 Setting Example init.vim "dein Scripts----------------------------- if &compatible set nocompatible endif let s:dein_dir…

Windows: TCP connection過多によるsocket通信が出来ない場合の対応

障害例 frontend, (clientからのrequestを受けるweb server等が乗っているserver), backend(forntend serverから渡ってきたdataを処理して返すDB等) serverの両者間における通信でTCP connectionが過剰となり,clientがエラーを経験した. clientの体験として…

PostgreSQL: Updateで大量の行を処理時にWAF Archiver停止、DB停止した為PITRした

事象 WALのarchive commandが停止, 続いてDBも停止した。 挙動の確認はPostgreSQL9.6。 # 出力されたerror. could not write to file "pg_xlog/xlogtmp.111111" No space left on device 原因 Updateで大量の行を処理(既存データのクレンジング)しようとした…

Gitの設定やらコマンドやら

git

Environment git version 2.20.1 (Apple Git-117) user setting globalを汚したく無い場合は --local で。 git config --global user.name "cha_pppo" git config --global user.email "xxx@xxx.com" 現在の設定を確認する。 git config --list stagedしたも…

Python data collectionとbuild-inとか

Python String object format() method (formatter) 値を文字列へformatする。 replacement field (置換フィールド) はformat() methodに渡す引数を示すindexである。 format文字列を使用する場合、 波括弧をplaceholderの指定に使用する。 {} はpositional …

PostgreSQL: process, memoryの整理

client側で発行したqueryがpostgres processへ渡る際に以下の手続きが発生する. parse (pg_parse_query) 文字列のqueryをraw parse treeへparseする ( PostgreSQL Source Code: src/include/nodes/parsenodes.h Source File ) analyzeと書き換え (pg_analyze…

treeで頻繁に使うoption

環境 Mac OSX 10.14.4 tree v1.8.0 (c) 1996 - 2018 特定のディレクトリ(ファイル)を除外し、それ以外のファイルを返す -I matchしたfile, directoryを除外。 a dot fileを含む。 Q ファイル名をquote。 R 最大directory levelまで達したら結果を返す。 t 最…

Python: /regexp?/ (正規表現)

re module re.sub は正規表現パターンで引数に渡された文字列を置換する。 re.sub(<pattern>, <置換後の文字列>, <置換対象の文字列>, [置換回数]) >>> import re >>> test_str = '123 ABC DEF ABCDEF' >>> re.sub('^123', '123 456', test_str) '123 456 ABC DEF ABC</pattern>…