Enviar pesquisa
Carregar
AWSのログ管理ベストプラクティス
•
82 gostaram
•
77,975 visualizações
Akihiro Kuwano
Seguir
Justtechtalk #9でお話した資料になります!
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 57
Baixar agora
Baixar para ler offline
Recomendados
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Kohei Tokunaga
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
Amazon Web Services Japan
20200630 AWS Black Belt Online Seminar Amazon Cognito
20200630 AWS Black Belt Online Seminar Amazon Cognito
Amazon Web Services Japan
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
Trainocate Japan, Ltd.
Recomendados
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Kohei Tokunaga
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
Amazon Web Services Japan
20200630 AWS Black Belt Online Seminar Amazon Cognito
20200630 AWS Black Belt Online Seminar Amazon Cognito
Amazon Web Services Japan
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
Trainocate Japan, Ltd.
SPAセキュリティ入門~PHP Conference Japan 2021
SPAセキュリティ入門~PHP Conference Japan 2021
Hiroshi Tokumaru
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
Amazon Web Services Japan
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
Infrastructure as Code (IaC) 談義 2022
Infrastructure as Code (IaC) 談義 2022
Amazon Web Services Japan
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
Amazon Web Services Japan
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
kubernetes初心者がKnative Lambda Runtime触ってみた(Kubernetes Novice Tokyo #13 発表資料)
kubernetes初心者がKnative Lambda Runtime触ってみた(Kubernetes Novice Tokyo #13 発表資料)
NTT DATA Technology & Innovation
DevOps with Database on AWS
DevOps with Database on AWS
Amazon Web Services Japan
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
NTT Communications Technology Development
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
NTT DATA Technology & Innovation
怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション
土岐 孝平
20200212 AWS Black Belt Online Seminar AWS Systems Manager
20200212 AWS Black Belt Online Seminar AWS Systems Manager
Amazon Web Services Japan
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
Recruit Lifestyle Co., Ltd.
とにかく分かりづらいTwelve-Factor Appの解説を試みる
とにかく分かりづらいTwelve-Factor Appの解説を試みる
Masatoshi Tada
Azure API Management 俺的マニュアル
Azure API Management 俺的マニュアル
貴志 上坂
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Akihiro Suda
20190821 AWS Black Belt Online Seminar AWS AppSync
20190821 AWS Black Belt Online Seminar AWS AppSync
Amazon Web Services Japan
[Black Belt Online Seminar] AWS上でのログ管理
[Black Belt Online Seminar] AWS上でのログ管理
Amazon Web Services Japan
ログ管理のベストプラクティス
ログ管理のベストプラクティス
Akihiro Kuwano
Mais conteúdo relacionado
Mais procurados
SPAセキュリティ入門~PHP Conference Japan 2021
SPAセキュリティ入門~PHP Conference Japan 2021
Hiroshi Tokumaru
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
Amazon Web Services Japan
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
Infrastructure as Code (IaC) 談義 2022
Infrastructure as Code (IaC) 談義 2022
Amazon Web Services Japan
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
Amazon Web Services Japan
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
kubernetes初心者がKnative Lambda Runtime触ってみた(Kubernetes Novice Tokyo #13 発表資料)
kubernetes初心者がKnative Lambda Runtime触ってみた(Kubernetes Novice Tokyo #13 発表資料)
NTT DATA Technology & Innovation
DevOps with Database on AWS
DevOps with Database on AWS
Amazon Web Services Japan
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
NTT Communications Technology Development
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
NTT DATA Technology & Innovation
怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション
土岐 孝平
20200212 AWS Black Belt Online Seminar AWS Systems Manager
20200212 AWS Black Belt Online Seminar AWS Systems Manager
Amazon Web Services Japan
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
Recruit Lifestyle Co., Ltd.
とにかく分かりづらいTwelve-Factor Appの解説を試みる
とにかく分かりづらいTwelve-Factor Appの解説を試みる
Masatoshi Tada
Azure API Management 俺的マニュアル
Azure API Management 俺的マニュアル
貴志 上坂
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Akihiro Suda
20190821 AWS Black Belt Online Seminar AWS AppSync
20190821 AWS Black Belt Online Seminar AWS AppSync
Amazon Web Services Japan
Mais procurados
(20)
SPAセキュリティ入門~PHP Conference Japan 2021
SPAセキュリティ入門~PHP Conference Japan 2021
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
Infrastructure as Code (IaC) 談義 2022
Infrastructure as Code (IaC) 談義 2022
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
kubernetes初心者がKnative Lambda Runtime触ってみた(Kubernetes Novice Tokyo #13 発表資料)
kubernetes初心者がKnative Lambda Runtime触ってみた(Kubernetes Novice Tokyo #13 発表資料)
DevOps with Database on AWS
DevOps with Database on AWS
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション
20200212 AWS Black Belt Online Seminar AWS Systems Manager
20200212 AWS Black Belt Online Seminar AWS Systems Manager
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
とにかく分かりづらいTwelve-Factor Appの解説を試みる
とにかく分かりづらいTwelve-Factor Appの解説を試みる
Azure API Management 俺的マニュアル
Azure API Management 俺的マニュアル
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
20190821 AWS Black Belt Online Seminar AWS AppSync
20190821 AWS Black Belt Online Seminar AWS AppSync
Semelhante a AWSのログ管理ベストプラクティス
[Black Belt Online Seminar] AWS上でのログ管理
[Black Belt Online Seminar] AWS上でのログ管理
Amazon Web Services Japan
ログ管理のベストプラクティス
ログ管理のベストプラクティス
Akihiro Kuwano
Azure Monitor Logで実現するモダンな管理手法
Azure Monitor Logで実現するモダンな管理手法
Takeshi Fukuhara
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
Amazon Web Services Japan
Rails3+devise,nginx,fluent,S3構成でのアクセスログ収集と蓄積
Rails3+devise,nginx,fluent,S3構成でのアクセスログ収集と蓄積
Takeshi Mikami
WindowsAzureの長所を活かすクラウド アプリ開発(PDF版)
WindowsAzureの長所を活かすクラウド アプリ開発(PDF版)
Shinichiro Isago
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
Yukitaka Ohmura
LambdaとMobileの美味しいかもしれない関係
LambdaとMobileの美味しいかもしれない関係
Hiraku Komuro
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
Daisuke Masubuchi
IBM Cloudant の細かすぎて伝わりにくい機能(その2) データの変更履歴が自動管理できるらしい
IBM Cloudant の細かすぎて伝わりにくい機能(その2) データの変更履歴が自動管理できるらしい
K Kimura
PHP on Cloud
PHP on Cloud
Akio Katayama
Flume cassandra real time log processing (日本語)
Flume cassandra real time log processing (日本語)
CLOUDIAN KK
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
Amazon Web Services Japan
スマートニュースの世界展開を支えるログ解析基盤
スマートニュースの世界展開を支えるログ解析基盤
Takumi Sakamoto
[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...
[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...
Takanori Ohba
今明かす、Windows Azure の全貌 - Virtualization Summit
今明かす、Windows Azure の全貌 - Virtualization Summit
fumios
Programming AWS with Perl at YAPC::Asia 2013
Programming AWS with Perl at YAPC::Asia 2013
Yasuhiro Horiuchi
JAWS-UG Meets Windows (JAWS Days 2017)
JAWS-UG Meets Windows (JAWS Days 2017)
Amazon Web Services Japan
サーバー管理よ、サヨウナラ。サーバーレス アーキテクチャの意義と実践
サーバー管理よ、サヨウナラ。サーバーレス アーキテクチャの意義と実践
真吾 吉田
ソーシャルゲームログ解析基盤のMongoDB活用事例
ソーシャルゲームログ解析基盤のMongoDB活用事例
知教 本間
Semelhante a AWSのログ管理ベストプラクティス
(20)
[Black Belt Online Seminar] AWS上でのログ管理
[Black Belt Online Seminar] AWS上でのログ管理
ログ管理のベストプラクティス
ログ管理のベストプラクティス
Azure Monitor Logで実現するモダンな管理手法
Azure Monitor Logで実現するモダンな管理手法
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
Rails3+devise,nginx,fluent,S3構成でのアクセスログ収集と蓄積
Rails3+devise,nginx,fluent,S3構成でのアクセスログ収集と蓄積
WindowsAzureの長所を活かすクラウド アプリ開発(PDF版)
WindowsAzureの長所を活かすクラウド アプリ開発(PDF版)
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
LambdaとMobileの美味しいかもしれない関係
LambdaとMobileの美味しいかもしれない関係
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
IBM Cloudant の細かすぎて伝わりにくい機能(その2) データの変更履歴が自動管理できるらしい
IBM Cloudant の細かすぎて伝わりにくい機能(その2) データの変更履歴が自動管理できるらしい
PHP on Cloud
PHP on Cloud
Flume cassandra real time log processing (日本語)
Flume cassandra real time log processing (日本語)
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
スマートニュースの世界展開を支えるログ解析基盤
スマートニュースの世界展開を支えるログ解析基盤
[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...
[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...
今明かす、Windows Azure の全貌 - Virtualization Summit
今明かす、Windows Azure の全貌 - Virtualization Summit
Programming AWS with Perl at YAPC::Asia 2013
Programming AWS with Perl at YAPC::Asia 2013
JAWS-UG Meets Windows (JAWS Days 2017)
JAWS-UG Meets Windows (JAWS Days 2017)
サーバー管理よ、サヨウナラ。サーバーレス アーキテクチャの意義と実践
サーバー管理よ、サヨウナラ。サーバーレス アーキテクチャの意義と実践
ソーシャルゲームログ解析基盤のMongoDB活用事例
ソーシャルゲームログ解析基盤のMongoDB活用事例
Mais de Akihiro Kuwano
今日はMongoDBの話はしない
今日はMongoDBの話はしない
Akihiro Kuwano
銀河レベルのLT(とは)
銀河レベルのLT(とは)
Akihiro Kuwano
AWSのNoSQL入門
AWSのNoSQL入門
Akihiro Kuwano
ビックデータ最適解とAWSにおける新しい武器
ビックデータ最適解とAWSにおける新しい武器
Akihiro Kuwano
MongoDBの可能性の話
MongoDBの可能性の話
Akihiro Kuwano
実環境にTerraform導入したら驚いた
実環境にTerraform導入したら驚いた
Akihiro Kuwano
インフラエンジニアってなんでしたっけ(仮)
インフラエンジニアってなんでしたっけ(仮)
Akihiro Kuwano
WiredTigerストレージエンジン楽しい
WiredTigerストレージエンジン楽しい
Akihiro Kuwano
NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴
NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴
Akihiro Kuwano
Chef環境の闇
Chef環境の闇
Akihiro Kuwano
アメーバピグにおける自作サーバ運用それからどうなった
アメーバピグにおける自作サーバ運用それからどうなった
Akihiro Kuwano
CyberAgentにおけるMongoDB
CyberAgentにおけるMongoDB
Akihiro Kuwano
後悔しないもんごもんごの使い方 〜サーバ編〜
後悔しないもんごもんごの使い方 〜サーバ編〜
Akihiro Kuwano
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
Akihiro Kuwano
MongoDBのはじめての運用テキスト
MongoDBのはじめての運用テキスト
Akihiro Kuwano
AmebaのMongoDB活用事例
AmebaのMongoDB活用事例
Akihiro Kuwano
MongoDBのアレをアレする
MongoDBのアレをアレする
Akihiro Kuwano
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
Akihiro Kuwano
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
Akihiro Kuwano
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
Akihiro Kuwano
Mais de Akihiro Kuwano
(20)
今日はMongoDBの話はしない
今日はMongoDBの話はしない
銀河レベルのLT(とは)
銀河レベルのLT(とは)
AWSのNoSQL入門
AWSのNoSQL入門
ビックデータ最適解とAWSにおける新しい武器
ビックデータ最適解とAWSにおける新しい武器
MongoDBの可能性の話
MongoDBの可能性の話
実環境にTerraform導入したら驚いた
実環境にTerraform導入したら驚いた
インフラエンジニアってなんでしたっけ(仮)
インフラエンジニアってなんでしたっけ(仮)
WiredTigerストレージエンジン楽しい
WiredTigerストレージエンジン楽しい
NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴
NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴
Chef環境の闇
Chef環境の闇
アメーバピグにおける自作サーバ運用それからどうなった
アメーバピグにおける自作サーバ運用それからどうなった
CyberAgentにおけるMongoDB
CyberAgentにおけるMongoDB
後悔しないもんごもんごの使い方 〜サーバ編〜
後悔しないもんごもんごの使い方 〜サーバ編〜
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
MongoDBのはじめての運用テキスト
MongoDBのはじめての運用テキスト
AmebaのMongoDB活用事例
AmebaのMongoDB活用事例
MongoDBのアレをアレする
MongoDBのアレをアレする
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
Último
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
furutsuka
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
Último
(9)
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
AWSのログ管理ベストプラクティス
1.
© 2017, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. AWSのログ管理 ベストプラクティス アマゾン ウェブ サービス ジャパン株式会社 ソリューション アーキテクト 桑野 章弘
2.
自己紹介 桑野 章弘(くわの あきひろ) ソリューションアーキテクト 主にメディア系のお客様を担当しております 渋谷のインフラエンジニア(仮)でした 好きなAWSのサービス:ElastiCache、 Route53 好きなデータストア:MongoDB
3.
アジェンダ ログとは ログの収集/保存 ログの活用 まとめ
4.
ログとは
5.
ログとはなんだ みんなログ、ログっていうけどログってなんなんだ?
6.
ログとは その名の通り痕跡を残す、ということ(そのまま ログはサーバ、サービス、そしてユーザの状況を確認する ための大事な要素
7.
ログとは 要するにログといっても全部同じではなく種類によって用 途、目的が異なる • アプリケーションログ • アクティビティログ •
セキュリティログ • センサーログ • アクセスログ • その他その他その他 ログは宝 • サービスを改善するためには現状の把握と分析が絶対的に必要
8.
クラウド上のログ管理と活用 ログの管理手法には様々な物がある 特にクラウド上ではインスタンス改廃が多く行われたり、 マネージドサービスがあり、ログの管理はオンプレよりも ダイナミックになる 管理する方法さえわかればログ分析基盤としてのクラウド を非常に便利に使うことができる
9.
収集 処理 分析 保存 データ収集と 保存 データ処理イベント処理
データ分析 データ 答え 分析前の前処理等、 いわゆるETL (抽出、変換、挿 入 )的な処理 各サーバや、サー ビスからのログを 収集する ログに対して各種 分析をかける 収集したログを サーバやデータス トアに保存する
10.
Amazon S3 Amazon Kinesis (Streams,
Firehose) Amazon DynamoDB Amazon RDS (Aurora) AWS Lambda KCL Apps Amazon EMR Amazon Redshift Amazon Machine Learning 収集 処理 分析 保存 データ収集と 保存 データ処理イベント処理 データ分析 データ 答え Amazon Athena
11.
ログの収集
12.
取得するログ 取得する必要があるログとしてはこのようなものたち • AWSのサービスログ • 各環境固有のログ
13.
取得するログ:AWSのサービスログ • 各サービスで出力されるログはCloudWatch Logs経由や 直接S3にアップロードする場合が多い
14.
取得するログ:環境固有のログ • OSやアプリケーション、アプリケーションログ等環境 に必要なログ • 基本的にはセルフサービスで運用 •
かと言ってマネージドサービスが使えないわけではない
15.
AWSのサービスログ
16.
AWSのサービスから出力されるログ 主要なログ • CloudWatch logs •
CloudTrail • ELB • VPCフローログ • S3のバケットログ • CloudFrontのアクセスログ
17.
CloudWatch Logs Amazon Linux
Ubuntu Windows Red Hat Linux CloudWatch Logs 通知: CloudWatch Alarm Log Agent Log Agent Log Agent Log Agent VPC Flow Log 可視化: Amazon Elasticsearh Service (Kibana) エクスポート: Amazon Kinesis Firehose CloudTrail Lambda RDS
18.
ログモニタリングイメージ ログ内容はタイムスタンプとログメッセージ(UTF-8)で 構成
19.
AWS CloudTrail AWSアカウントの操作をロギングするサービス 管理コンソール、コマンドライン、3rd party等APIコール される全てのイベントが対象 S3にロギングデータをJSONで保存 AWS
CloudTrail自体の料金は無料 AWS上のAPI操作を記録するサービス AWS CloudTrail サポートサービス一覧 http://docs.aws.amazon.com/ja_jp/awscloudtrail/latest/userguide/w hat_is_cloud_trail_supported_services.html
20.
S3バケットログ バケットに対するアクセスログの出力設定が可能(バケッ ト単位で設定) 出力先としてS3バケットを指定 ログフォーマット • 主要な項目としては「Remote IP」「HTTP
Status」「Request- URI」等様々 • 詳しくは下記を参照 http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/LogFo rmat.html
21.
S3バケットログの項目 項目 説明 Bucket Owner
ソースバケット所有者の正規ユーザー ID バケット リクエストの処理対象のバケット名 時間 リクエストを受け取った時刻 Remote IP リクエストしてきたインターネットアドレス リクエスタ IAMユーザ等のID リクエスト ID 各リクエストを一意に識別するための文字列 オペレーション 実行したオペレーション内容 キー リクエストの URL エンコードされた「key」 部分 Request-URI HTTP リクエストメッセージの Request-URI 部分 HTTP status レスポンスの HTTP ステータス 項目 説明 エラーコード Amazon S3 エラーコード Bytes Sent 送信されたレスポンスのバイト数 Object Size 該当するオブジェクトの合計サイズ Total Time サーバーから見た、リクエストの転送中の時間数(ミリ秒) Turn-Around Time Amazon S3 でリクエストの処理に要した時間数(ミリ秒) Referrer リファラ User-Agent ユーザーエージェント Version Id リクエストのバージョン ID
22.
ELBのアクセスログの項目 ELBのアクセスログを指定したS3に自動保管 簡単にログのS3保管が実現できる アクセスの傾向を探ることが可能 参照 http://docs.aws.amazon.com/ja_jp/ElasticLoadBalancing/latest/DeveloperGuide/access- log-collection.html S3
23.
ELBのアクセスログの項目 ロードバランサのアクセスログをS3へ保存 項目 説明 timestamp クライアントからリクエストを受け取った時 刻 elb
ロードバランサー名 client:port リクエストを送信したクライアントの IP ア ドレスとポート backend:port このリクエストを処理した登録済みインスタ ンスの IP アドレスとポート request_processing_t ime ロードバランサーがリクエストを受け取った 時点から登録済みインスタンスに送信するま での合計経過時間(秒) backend_processing_ time ロードバランサーが登録済みインスタンスに リクエストを送信した時点から、そのインス タンスが応答ヘッダーの送信を開始した時点 までの合計経過時間(秒) 項目 説明 response_processing_ time ロードバランサーが登録済みインスタンスから応答ヘッダーを受 け取った時点から、クライアントへの応答の送信を開始した時点 までの合計経過時間(秒) elb_status_code ロードバランサーからの応答のステータスコード backend_status_code 登録済みインスタンスからの応答のステータスコード received_bytes クライアントから受け取ったリクエストのサイズ(バイト) sent_bytes クライアント(リクエスタ)に返される応答のサイズ(バイト) user_agent ユーザーエージェント ssl_cipher SSL 暗号。正常なネゴシエーションの後に受信 SSL/TLS 接続が 確立した場合にのみ、この値が記録されます ssl_protocol SSL プロトコル。正常なネゴシエーションの後に受信 SSL/TLS 接続が確立した場合にのみ、この値が記録されます
24.
CloudFrontログ & レポート CloudFront クライアント S3 Management
Console アクセスログ アクセスや利用状況傾向の 確認及び分析 Cache Statistics Popular Objects Top Referrers Usage Viewers Cloudwatch Monitoring and Alarming 障害/異常検知や現状の利用確認 Access Log 複雑なアクセスや利用傾向分析 データの可視化と詳細な障害分析 リアルタイム モニター レポーティング Redshift ElasticSearch
25.
CloudFrontアクセスログの項目 任意のS3 Bucketに出力可能 項目 説明 date
アクセス日(UTC) time アクセス時間(UTC) x-edge-location エッジロケーションID sc-bytes 配信Byte数(ヘッダー含む) c-ip クライアントIPアドレス cs-method HTTPアクセスMethod cs(Host) CloudFront Distributinドメイン名 cs-uri-stem リクエストURI sc-status レスポンスコード cs(Referer) リファラ cs(User-Agent) クライアントユーザエージェント cs-uri-query リクエストQuery Strings cs(Cookie) リクエストCookieヘッダー 項目 説明 x-edge-result-type Hit:キャッシュヒット RefreshHit:キャッシュがExpireされていた Miss:キャッシュミス LimitExceeded: CloudFrontのリミットオーバ CapacityExceeeded: エッジのキャパシティ不足 Error:クライアントもしくはオリジンによるエラー x-edge-request-id CloudFrontのリクエストID x-host-header リクエストHost Header cs-protocol リクエストプロトコル(http / https) cs-bytes リクエストByte数(ヘッダー含む) time-taken CloudFrontエッジがリクエストを受けて、オリジンからLastByte を取得するまでにかかった秒数 x-forwarded-for ViewerがHTTPプロキシなどを利用した場合の元Viewr IP ssl-protocol クライアントとHTTPS通信をした際の利用したプロトコル ssl-cipher クライアントとHTTPS通信した際の利用した暗号化方式 x-edge-response- result-type Viewerにレスポンスを返す直前の処理分類 ※分類はx-edge-result-typeと同様
26.
VPC Flow Log VPC内のネットワークのログが取得可能 •
Network ACLとSecurity Groupでの許可と禁止についてのトラ フィックログをCloudWatch Logsへ出力する • ネットワークインタフェース(ENI)ごとに取得(ENIがログス トリーム)
27.
Flow Log レコードの項目 フィールド
説明 version VPC flow logsのバージョン account-id flow logを取得したAWSアカウント interface-id ログストリームが適用されているネットワークインタフェースのID srcaddr 送信元アドレス(※) dsraddr 送信先アドレス(※) srcport 送信元ポート dsrport 送信先ポート protocol IANAで定義されたプロトコル番号 packets キャプチャウインドウの中で取得したパケット数 bytes キャプチャウインドウの中で取得したバイト数 start キャプチャウインドウ開始時のUNIX時間 end キャプチャウインドウ終了時のUNIX時間 action トラフィックのアクション(ACCEPT/REJECT) log-status ログステータス(OK/NODATA/SKIPDATA) Flow Log レコード: http://docs.aws.amazon.com/AmazonVPC/latest/UserGuide/flow-logs.html#flow-log-records
28.
各環境固有のログ
29.
環境固有のログ 各サービスで必要な情報のこと • アプリケーションログ • アクティビティログ •
セキュリティログ • センサーログ • アクセスログ • その他その他その他
30.
ログの取得の仕方 アプリケーションの種別により必要なリードタイムがある 例えば、、、 • リアルタイムな処理をしなくてもいいならバッチ取得 • 受け取ったログを元にリアルタイム処理を行う必要があるの であればストリーム取得 取得の仕方まとめましょう
31.
トラディショナルなログファイル転送 トラディショナルな運用 • 各サーバからログをscp等で送信 • rsyslog,
syslog-ngなどのエージェントを使用 • 保存先をS3にすることでログ収集サーバのストレージ容量を削 減可能 APP ログ収集サーバ scp等で収集 APP ログ収集サーバ rsyslog/syslog-ng等 でログ送信 S3に アップロード Amazon S3
32.
トラディショナルなログファイル転送 基本的には非推奨 • スケールしない • 収集速度の限界 •
SPOFがあり、運用負荷が高い APP ログ収集サーバ スケールアウ トできない/ しにくい APP ログ収集サーバ スケールアウ トできない/ しにくい Amazon S3
33.
ミドルウェアアプリケーションの利用 Push型を推し進める方向性 ログ送信のためのミドルウェアを使用することで柔軟な運 用が可能
34.
Fluentd Treasure Data 社がOSS
として開発 • ログ収集管理ツール • Rubyで柔軟性の高い入出力プラグイン • バッファリング機能をデフォルトで持つ • File Buffer • Memory Buffer • ログのルーティング/フィルタリングが容易 • S3に投げつつ一部はローカル保存のみとか。
35.
Fluentdのリファレンス構成 Fluentdの多段構成 • 途中にAggregate Serverを経由し安定性向上/運用コスト削減 •
Aggregate Serverのリソース確保と冗長性に考慮が必要 APP Aggregate Serverから各 サービスに 転送 細かい設定変更は Aggregate server上で 行う aggregate server Amazon S3 Amazon DynamoDB
36.
ここで満を持してマネージドサービスが登場
37.
マネージドサービスの利用 ログを効率よく取得するためのサービス達 • Kinesis Streams •
Kinesis Firehose • CloudWatch Logs
38.
Kinesis Streams • 生成されるデータをリアルタイムに近い状況でデータ処理部に 伝送 •
AWSのサービスとの簡単インテグレーション • 目的に応じた処理を並列処理することが可能 フルマネージド型リアルタイム大規模ストリーミング処理 KinesisStreams エ ン ド ポ イ ン ト シャード 0 シャード 1 シャード ..N ストリーム データ送信側 データ処理側 Amazon S DynamoD Amazon Red Amazon EM データ レコード Lambda EC2
39.
Kinesis Firehose • 管理不要 •
アプリケーション実装やインフラ管理を一切行わずに Amazon S3 / Amazon Redshift / Amazon ES にデータを配信可能 • データストアとダイレクトに統合 • ストリーミングデータのバッチ化・圧縮・暗号化が可能 • シームレスにスケール ストリーミングデータを Amazon S3, Amazon ES などへ簡単にロード
40.
Fluent plugin for
Amazon Kinesis FluentdからKinesisにログを 直接送信するためのプラグイ ン 3つのoutputサポート • Kinesis Streams用 • kinesis_streams • kinesis_producer(KPL対応) • Kinesis Firehose用 • kinesis_firehose https://github.com/awslabs/aws-fluent-plugin-kinesis # Kinesis Streams用設定例 <match your_tag> @type kinesis_producer region us-east-1 stream_name your_stream partition_key key </match> # Kinesis firehose用設定例 <match your_tag> @type kinesis_firehose region us-east-1 delivery_stream_name your_stream </match>
41.
Kinesis Streams を使った構成 Fluentd
AggregateサーバをKinesis Streamsへ • スケールアウトの構成を簡単に組める • ログを取得して各サービスと連携するためにLambdaやEC2が必 要(Lambdaがかんたん) APP Kinesis Streamsから LambdaやEC2アプ リケーションでロ グを取得してS3等 に格納 APPサーバのfluentdは fluent-plugin-kinesisを使 用してKinesis Streamsへ 転送 Amazon S3 Amazon DynamoDB Kinesis Streams AWS Lambda ログ収集サーバ (KCL動作) OR
42.
Kinesis firehose を使った構成 Kinesis
firehoseを使用 • 他サービスへの連携にEC2やLambdaを使う必要がなくなる • スケールアウトも自動 • AWS Summit Tokyo2017であと2ヶ月が東京リージョンでリ リース予定(予定は未定です)と発表!!! APP Amazon S3 Amazon DynamoDB Kinesis Firehose 各アプリケー ションはKinesis Streams と同様に fluentd経由でロ グ送信 Kinesis Firehoseを使用 することでアプリ ケーションを介在す ること無く他サービ スと連携可能
43.
CloudWatch Logs EC2のログ転送もCloudWatch Logsで行う ログの転送時に複雑なことをしたい場合には向かないが、 単純にログを転送したい場合は簡単にログ送信が可能 APP Amazon S3 Amazon CloudWatch
Logs 各インスタンスに インストールした CloudWatch Logs エージェント経由 でログ送信 Batch処理的にS3に送 信する事も可能
44.
CloudWatch Logs :
ServerLess(AWS Lambda) サーバレスアーキテクチャを実現する場合もLambdaは実 行時のログをCloudWatch Logsに出力 Amazon S3 Amazon CloudWatch Logs Lambdaの実行結果 をCloudWatch Logs に出力 AWS Lambda
45.
CloudWatch Logs :
Container Docker 1.9以降でawslogsログドライバが取り込まれて入 りログ転送をCloudWatch Logsで行うことが可能 Docker App Amazon S3 Amazon CloudWatch Logs awslogsログドライ バを使用して CloudWatch Logsに ログ出力
46.
おわかりいただけただろうか、、、
47.
全てのログをS3へ貯め続ける S3はAWSのデータのハブ(データレイク)として非常に 重要な役割を担っている あとから自由に分析処理(ETL)を変更可能 S3の耐久性で安全に保存可能 消したログは二度と帰ってこない 非常に安価にデータを保存できる(Glacierや、低頻度アク セスストレージも併用可能)
48.
データレイク on AWS あらゆるデータが集まるス トレージ •
構造化データも非構造 化データも 様々なデータを跨いで分析 Amazon S3が最適 • Athena/EMR/Redshift 等を活用 • IA/GlacierでTiered DB 各種クライアント メディア ファイル 多様な データベース サーバ Amazon Kinesis Amazon S3 Amazon Glacier Amazon EMR Amazon Redshift Amazon Machine Learning Amazon Athena
49.
ログの活用
50.
Amazon Athena を活用 •
Amazon S3に置いたデータに直接SQL実行可 • AthenaはPrestoで提供するSQL Engineが利用で き、JSON, CSV, ログファイル, 区切り文字のある テキストファイル, Apache Parquet, Apache ORCなど対してクエリが可能 • ペタバイトクラスのデータに対するクエリをサ ポートJDBC、CLI、API経由で実行可能 • バージニア、オレゴンをはじめ東京でも利用可能 • スキャンしたデータ1TBあたり$5の料金
51.
プリプロセスの簡略化 EMRなどを使う必要もないのでHadoopの知識も必要無い Amazon RedshiftAmazon Athena •
非構造化データの構造化・整形 • 構造化データのフィルタリング • S3へ変形済データを出力 サマリー テーブル ファクト テーブル マート・サマ リー表の更新を SQLで実行 Amazon S3 全データ 変形済データ
52.
CloudTrail + Amazon
Athena Athena はCloudTrailのログ形 式をデフォルトでサポートし ている 「○○時にS3のAPIを叩いや つを全部出せ」 「認証エラーしているやつを 全部出せ」 かんたんかつ自由自在 CloudTrail Amazon Athena Amazon S3 Backet ① ②
53.
Athena の主なユースケース ユースケース データ
ユーザ 新しく取得したデータに対して, DWに入れる価値があるか探索的に検証 新しく取得したデータ アナリスト 利用頻度の低い過去のデータに対する, BIツール経由のアドホックな分析 コールドデータ アナリスト Webサーバで障害が発生したときに, ログを漁って原因追求 アクセスログ サーバ運用 大規模でないデータに対しての, 低頻度で実施するETL処理 生データ 開発者
54.
システム構成例 APP AWS Lambda バッチサーバ Kinesis Firehose Elasticsearch Service RedShift クラスタ Amazon S3 Amazon S3 ETL Amazon Athena Kinesis Analytics CloudWatch Logs ログ監視 Slack ユーザ Aurora アプリ側から使う 集計バッチ DynamoDB Kinesis Firehose EMR
クラスタ DL/MLなど DWH リアルタイムのサマ リデータ取得
55.
まとめ ログの取得や集約はクラウド上でも既存環境と同等、更に AWSのサービスを使用する事で堅牢かつ便利にそしてス ケーラブルにできる S3はデータレイクとして非常に優れたアーキテクチャに なっている、Athenaを始めとしたログを解析する手段は非 常に数多く用意されており、データレイクとしてのS3を上 手く活用することでビジネスの精度を上げるための道具と する
56.
Q&A 56
Baixar agora