AWS Cloudwatch LogsのDatadog Logs転送方法

3-6. AWSログ転送設定 概要 ログをDatadogへ転送設定する場合の手順を記載する。 AWSサービスのログをDatadogへ転送する場合、Cloud Watch LogsのロググループをLambdaを介して転送する仕組みとなっている。 AWS管理画面でログを転送する手順を明記する。 前…

Datadog APIキーおよびアプリケーションキーの追加

4-3. APIキーおよびアプリケーションキーの追加 概要 APIキー:API キーはOrganizationごとに固有で、Datadog Agent でメトリクスとイベントを Datadog に送信する際に必要となる。具体的には、AWSアカウントとIntegration連携する際や、コンテナでAgentに読…

datadog-forwarder Lambdaへのタグの追加方法

4-3. datadog-forwarderにタグを追加 概要 AWSからDatadogへ転送する際にdatadog-forwarderという関数名のLambdaを使用している。現在env:<環境名>で追加しているが、追加でタグ付けが必要な場合は本手順を参考にしてください。 手順 1 . スタックの選択 clo…

S3からログをDatadog Logsに戻す方法

4-6. DatadogログのRehydrate手順 概要 Datadogはデフォルトで管理画面上のログ保持期間が一か月としている。一か月を超過したものはAWS S3へ転送される設計となっており、S3に転送したログをDatadogに戻す機能をRehydrateという。 手順 1 . Datadogの管理コ…

Datadog Logsへログの転送を停止する方法

4-5. ログの転送を停止する設定 概要 本番適用後にstage環境のログはDatadogへ転送を行わないように設定する必要がある為ログの転送を停止する方法を明記する 手順 AWSサービスのログを停止する方法 1 .AWSコンソールにログインを行いサービスから Datadogロ…

Datadog EC2上のOSログをDatadogに転送する方法

3-7. ログ転送設定 概要 ログをDatadogへ転送設定する場合の手順を記載する。 /var/log/messagesログなどの権限の高いログはAgent経由で転送することができない。 本ページではrsyslogを使用したログの転送方法を記載する。 注意事項 転送テスト時に下記バー…

FargateのタスクのENIを確認する方法

Fargateタスクから外部に接続しに行く際にどのIPアドレスを使用するのかを確認したい時、タスクのENI情報を見れば良い。 方法は以下のブログに掲載されているので割愛するが、マネコン上の対象のタスクからENI ID(リンク)を確認し、リンクを押下すると対象…

Twilioハンズオン(初期設定)

全体手順 neri78.github.io 1. ハンズオン: Twilio CLIをインストール neri78.github.io 2. ハンズオン: Twilio CLIを使ったサービスの利用 neri78.github.io 3. ハンズオン: Twilio CLIを使ったサーバーレス実行環境の構築 neri78.github.io

Ansibleでシェルを実行させる時の注意点

概要 Ansibleで以下のようにshellモジュール(shell:)で、シェルを実行させようとした時、(シェルは正常終了しているが)シェル内のaws cliコマンドが実行されていない!とハマったのでメモ。 shell: /home/hoge/scripts/test.sh {{ hoge_name }} && sleep…

LBのリスナーでBL/GRのターゲットを切り替えるシェル

概要 BL/GR切り替えをLBのリスナーからターゲットグループで切り替えることを実装する際に使用したシェルをメモ的に記載します。 【動作前提】 ・BL/GRのEC2が共に起動中であること 【動作要領】 ・ALBのリスナールールにて向き先のターゲットグループを切り…

あやうく一生懸命生きるところだった

韓国人のハ・ワンさんが、人の生き方について書いた本のレビューです。 私はこの本を読んで、衝撃を受けました。 もっと早く出会いたかったですが、今出会っておいて良かったとも思います。 人生はみんな努力でコントロールできると思っているのがまず間違え…

コロナ時代の遊び方を考える

今回はエンジニア系の話ではなく、コロナになって人と会わなくなった、出かけにくくなった時代の楽しみ方を自分なりに考えた結果を書こうと思います。 コロナになって、仕事は完全在宅勤務になりました。 通勤していた時は社員の顔が見れていたし、特に仕事…

Docker基礎 - 必要なことだけメモ①

Docker Engineの構成 ・Docker Engineは一般的なクライアント/サーバーシステムとして動作する ・コンテナーの管理をDockerサーバーが、サーバーの操作をDockerクライアントが担う ・Dockerクライアント、サーバーの状態はdocker versionコマンドでバージョ…

エンジニアの仕事について思うこと

素敵な記事と出会えました。私自身も普段から思っていることを言語化してくれた記事。 これに出会えただけでも救われる部分は大きいと思うので、もしこのブログを閲覧される方がいらっしゃれば以下の記事も読んでもらえればと思います。 simplearchitect.hat…

Datadog Slack連携

DatadogとSlackのWorkSpaceを連携させる手順を記載します。 手順は以下を参考に。 blog.mmmcorp.co.jp それではやっていきます。 1. Slack側にDatadog連携を設定する Slackのアプリ連携画面(https://XXXXX.slack.com/apps)からDatadogを検索し、「Add to S…

どうでも良いことならいらなくない?

ちょっとしたこと。どうでも良い些細なこと。 そういうことにいちいちキチンとしていないといけないとか、ルールだから守らないといけないとか、 本当に嫌になってくる。それよりも人の気持ちをもっと考えようよと。 意味がないもの、目的がないものなのに、…

Datadog導入(PagerDutyおよびSlack連携含む)と監視設定

1. Datadog Integration設定 1-1. Datadog Integration設定 Datadogの対象OrgからIntegrationタブを押下する。 AWSのアイコンを選択し、「Add Another Acount」ボタンを押下 以下のように情報を入力する画面が出る(AWS External IDは最初から表示されている…

S3に保存されているALBのアクセスログから4XX系だけを抜き出す

ALBのアクセスログがS3に吐かれている前提で、S3上にはデフォルトの設定通り、5分ごとのzipファイルが格納されています。 これの日付ファイルをDLして解凍して全ファイルを一つにつなぎ合わせて、4XX系だけ取り出す作業の手順を記載します。 事前準備 まずは…

datadog.confのhostnameについて

既存の「<server-name>-01」のEC2のAMIから「<server-name>-02」を作成した時にdatadogでハマったのでメモ。 datadog.confには以下のようにAPIキーを指定する部分やhostnameを指定する部分が存在します。 datadog.confのhostnameは必須ではない(デフォルトでAgentインストールした際は</server-name></server-name>…

SFTPユーザを作成する

今日は、LinuxサーバにてSFTPユーザを作成する手順を記載します。 参考サイトは以下です。 tagutagu.com [ やりたいこと ] やりたいことは、外部のエンジニアの方向けにSFTPユーザを作成して、閲覧できる階層を制限することです。 複数ユーザ間での特定ディ…

Google Search Console(GSC)を使用するための初期設定にてDNSレコード(TXTレコード)を追加する

お客様より、サイトにてGoogle Search Console(GSC)を使用するための初期設定が必要になったということで、ドメインを管理しているRoute53にレコード追加するやり方を記載します。 参考サイトは以下 mariana.tokyo 上記サイトの「ドメインの所有者確認」と…

S3のプライベートバケット上の画像に時限付きURLでアクセスする

今回はローカルPCとしてはmacを使用してS3のプライベートバケット上にある画像を時限付きのURLを発行してアクセスする手順を記載します。(デフォルトのクレデンシャル情報としてセットしておきます) AWS SDK for PHPを使用してスクリプトを書いていきます…

terraform/piculet/roadworker他ツール導入

AWSのリソース管理ツールとして以下の通り便利ツールを導入する際のメモを記載する。 Terraform 1. 概要 ・インフラ構成管理ツール ▼参考URL https://qiita.com/Chanmoro/items/55bf0da3aaf37dc26f73 2. インストール手順 ・インストール手順 https://qiita.…

S3のパブリックバケットにローカルから画像をアップロードする

今回はローカルPCとしてはmacを使用して画像をS3のパブリックバケット上にアップロードする作業を実施します。 事前作業 ①IAMユーザ準備 S3FullAccess権限のついたIAMユーザを作成し、ローカルPCにセッティングします。 $ cat /Users/<user>/.aws/credentials defa</user>…

AWS サイト間VPNを作成しよう

オンプレとAWS間をVPN接続したいという時に使うのがサイト間VPN。 今回はこのサイト間VPNの構築手順をマネジメントコンソールでの操作前提で記載していきます。 作業内容 お客様DC環境とAWS環境(本番環境および開発環境)とのSite to Site VPN接続環境を構…

EC2にミドルウェアを導入する(Apache 2.4, PHP 7.4, MySQL 8(mysql_clientのみ))

Amazon Linux2のEC2に以下の対象ミドルウェアとCodeDeploy Agentを導入する手順を記載する。 【導入するミドルウェア】 ・Apache 2.4 ・PHP 7.4 ・MySQL 8(mysql_clientのみ)※DB自体はRDSを使用しMySQL8を設定する 【その他インストール】 ・CodeDeploy Ag…

PHPのマイナーバージョンアップ(7.2.X)

CentOS7のEC2でPHPのマイナーバージョンアップを実施する手順を記載。 7.2.Xの「X」の部分を最新にする。 作業手順 PHP バージョンアップ対応 1. PHP バージョン確認 PHP のバージョンを確認する(「php 7.2.y」であることを確認する) # php -v 2. 現在イ…

Terraformとは

Terraformとは HashiCorpが手がける、インフラ構築や設定をコード(テンプレートファイル)を使って自動化するためのツールです。 AWSのほか、複数のプロバイダー(クラウドサービスやツール)に対応しているのが特徴の1つです。 Terraformの開発は非常に活発で…

基本的なOS設定(Amazon Linux2)

Amzon Linux2 でEC2をたてた後、まずは基本的なOS設定を実施します。 基本的な設定の手順を以下に記載しました。 基本的なOS設定手順 1. OS設定 以下内容を実施する 1-1. パッケージ更新 $ sudo yum update -y 1-2. vimのインストール確認 AmazonLinux2では…

Piculetを導入しよう

以下のように設定するだけでpiculetが導入できます。 piculetはSGを管理するIaaCツールでterraformはSG以外、piculetでSGという役割分担で使用したりします。 piculetを使っている人が周りに多いため、piculetの導入手順と実コマンドの表示結果を記載します…