Enviar pesquisa
Carregar
pixivのインフラを支える技術
•
29 gostaram
•
9,049 visualizações
Ryuta Kamizono
Seguir
Aperfeiçoamento pessoal
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 34
Baixar agora
Baixar para ler offline
Recomendados
ピクシブの自作インフラ事情
ピクシブの自作インフラ事情
Ryuta Kamizono
レベルを上げて物理で殴れ、Fuzzing入門 #pyfes
レベルを上げて物理で殴れ、Fuzzing入門 #pyfes
Tokoroten Nakayama
Akkaで分散システム入門
Akkaで分散システム入門
Shingo Omura
RSA暗号運用でやってはいけない n のこと #ssmjp
RSA暗号運用でやってはいけない n のこと #ssmjp
sonickun
ストリーム処理におけるApache Avroの活用について(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
ストリーム処理におけるApache Avroの活用について(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
NTT DATA Technology & Innovation
OpenStack入門 2016/06/27
OpenStack入門 2016/06/27
株式会社 NTTテクノクロス
コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門
Kohei Tokunaga
MySQL 5.7とレプリケーションにおける改良
MySQL 5.7とレプリケーションにおける改良
Shinya Sugiyama
Recomendados
ピクシブの自作インフラ事情
ピクシブの自作インフラ事情
Ryuta Kamizono
レベルを上げて物理で殴れ、Fuzzing入門 #pyfes
レベルを上げて物理で殴れ、Fuzzing入門 #pyfes
Tokoroten Nakayama
Akkaで分散システム入門
Akkaで分散システム入門
Shingo Omura
RSA暗号運用でやってはいけない n のこと #ssmjp
RSA暗号運用でやってはいけない n のこと #ssmjp
sonickun
ストリーム処理におけるApache Avroの活用について(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
ストリーム処理におけるApache Avroの活用について(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
NTT DATA Technology & Innovation
OpenStack入門 2016/06/27
OpenStack入門 2016/06/27
株式会社 NTTテクノクロス
コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門
Kohei Tokunaga
MySQL 5.7とレプリケーションにおける改良
MySQL 5.7とレプリケーションにおける改良
Shinya Sugiyama
DBスキーマもバージョン管理したい!
DBスキーマもバージョン管理したい!
kwatch
Dockerイメージ管理の内部構造
Dockerイメージ管理の内部構造
Etsuji Nakai
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
NTT DATA Technology & Innovation
脆弱性ハンドリングと耐える設計 -Vulnerability Response-
脆弱性ハンドリングと耐える設計 -Vulnerability Response-
Tomohiro Nakashima
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
Docker Compose 徹底解説
Docker Compose 徹底解説
Masahito Zembutsu
AWS Black Belt Online Seminar AWS Direct Connect
AWS Black Belt Online Seminar AWS Direct Connect
Amazon Web Services Japan
Paxos
Paxos
Preferred Networks
君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?
Teppei Sato
雑なMySQLパフォーマンスチューニング
雑なMySQLパフォーマンスチューニング
yoku0825
Kubernetes ネットワーキングのすべて
Kubernetes ネットワーキングのすべて
LINE Corporation
Linuxにて複数のコマンドを並列実行(同時実行数の制限付き)
Linuxにて複数のコマンドを並列実行(同時実行数の制限付き)
Hiro H.
Parquetはカラムナなのか?
Parquetはカラムナなのか?
Yohei Azekatsu
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Yuji Otani
コンテナの作り方「Dockerは裏方で何をしているのか?」
コンテナの作り方「Dockerは裏方で何をしているのか?」
Masahito Zembutsu
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
Yoshiyasu SAEKI
ゼロからはじめるKVM超入門
ゼロからはじめるKVM超入門
VirtualTech Japan Inc.
アーキテクチャから理解するPostgreSQLのレプリケーション
アーキテクチャから理解するPostgreSQLのレプリケーション
Masahiko Sawada
Cassandraのしくみ データの読み書き編
Cassandraのしくみ データの読み書き編
Yuki Morishita
Rustで楽しむ競技プログラミング
Rustで楽しむ競技プログラミング
yoshrc
第32回デザイン勉強会 「web制作のプロトタイピングツール」
第32回デザイン勉強会 「web制作のプロトタイピングツール」
Takashi Kitamura
20101220 pixiv tech_meeting
20101220 pixiv tech_meeting
semind
Mais conteúdo relacionado
Mais procurados
DBスキーマもバージョン管理したい!
DBスキーマもバージョン管理したい!
kwatch
Dockerイメージ管理の内部構造
Dockerイメージ管理の内部構造
Etsuji Nakai
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
NTT DATA Technology & Innovation
脆弱性ハンドリングと耐える設計 -Vulnerability Response-
脆弱性ハンドリングと耐える設計 -Vulnerability Response-
Tomohiro Nakashima
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
Docker Compose 徹底解説
Docker Compose 徹底解説
Masahito Zembutsu
AWS Black Belt Online Seminar AWS Direct Connect
AWS Black Belt Online Seminar AWS Direct Connect
Amazon Web Services Japan
Paxos
Paxos
Preferred Networks
君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?
Teppei Sato
雑なMySQLパフォーマンスチューニング
雑なMySQLパフォーマンスチューニング
yoku0825
Kubernetes ネットワーキングのすべて
Kubernetes ネットワーキングのすべて
LINE Corporation
Linuxにて複数のコマンドを並列実行(同時実行数の制限付き)
Linuxにて複数のコマンドを並列実行(同時実行数の制限付き)
Hiro H.
Parquetはカラムナなのか?
Parquetはカラムナなのか?
Yohei Azekatsu
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Yuji Otani
コンテナの作り方「Dockerは裏方で何をしているのか?」
コンテナの作り方「Dockerは裏方で何をしているのか?」
Masahito Zembutsu
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
Yoshiyasu SAEKI
ゼロからはじめるKVM超入門
ゼロからはじめるKVM超入門
VirtualTech Japan Inc.
アーキテクチャから理解するPostgreSQLのレプリケーション
アーキテクチャから理解するPostgreSQLのレプリケーション
Masahiko Sawada
Cassandraのしくみ データの読み書き編
Cassandraのしくみ データの読み書き編
Yuki Morishita
Rustで楽しむ競技プログラミング
Rustで楽しむ競技プログラミング
yoshrc
Mais procurados
(20)
DBスキーマもバージョン管理したい!
DBスキーマもバージョン管理したい!
Dockerイメージ管理の内部構造
Dockerイメージ管理の内部構造
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
脆弱性ハンドリングと耐える設計 -Vulnerability Response-
脆弱性ハンドリングと耐える設計 -Vulnerability Response-
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Docker Compose 徹底解説
Docker Compose 徹底解説
AWS Black Belt Online Seminar AWS Direct Connect
AWS Black Belt Online Seminar AWS Direct Connect
Paxos
Paxos
君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?
雑なMySQLパフォーマンスチューニング
雑なMySQLパフォーマンスチューニング
Kubernetes ネットワーキングのすべて
Kubernetes ネットワーキングのすべて
Linuxにて複数のコマンドを並列実行(同時実行数の制限付き)
Linuxにて複数のコマンドを並列実行(同時実行数の制限付き)
Parquetはカラムナなのか?
Parquetはカラムナなのか?
Redisの特徴と活用方法について
Redisの特徴と活用方法について
コンテナの作り方「Dockerは裏方で何をしているのか?」
コンテナの作り方「Dockerは裏方で何をしているのか?」
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
ゼロからはじめるKVM超入門
ゼロからはじめるKVM超入門
アーキテクチャから理解するPostgreSQLのレプリケーション
アーキテクチャから理解するPostgreSQLのレプリケーション
Cassandraのしくみ データの読み書き編
Cassandraのしくみ データの読み書き編
Rustで楽しむ競技プログラミング
Rustで楽しむ競技プログラミング
Destaque
第32回デザイン勉強会 「web制作のプロトタイピングツール」
第32回デザイン勉強会 「web制作のプロトタイピングツール」
Takashi Kitamura
20101220 pixiv tech_meeting
20101220 pixiv tech_meeting
semind
マッチングサイト構築の要点
マッチングサイト構築の要点
Hajime Ookoshi
pixivの画像アップロードシステム
pixivの画像アップロードシステム
Tatsuhiko Kubo
さくらのクラウド・サービス概要と構成例(第29回 さくらの夕べin徳島)
さくらのクラウド・サービス概要と構成例(第29回 さくらの夕べin徳島)
さくらインターネット株式会社
Nginxを使ったオレオレCDNの構築
Nginxを使ったオレオレCDNの構築
ichikaway
第2回 Jenkins勉強会 LT 藤川
第2回 Jenkins勉強会 LT 藤川
Koichi Fujikawa
osoljp201105_ZFSjiman_nslope
osoljp201105_ZFSjiman_nslope
Noriyasu Sakaue
[さくらのクラウド] ウェブアクセラレータ紹介資料
[さくらのクラウド] ウェブアクセラレータ紹介資料
さくらインターネット株式会社
プログラマとデザイナで時計を作るVisual studioハッカソン ~ TDDの考え方を開発全体に応用してみよう!
プログラマとデザイナで時計を作るVisual studioハッカソン ~ TDDの考え方を開発全体に応用してみよう!
Yasuhiko Yamamoto
コンピュータの構成と設計 第3版 第2章 勉強会資料
コンピュータの構成と設計 第3版 第2章 勉強会資料
futada
JenkinsとjMeterで負荷テストの自動化
JenkinsとjMeterで負荷テストの自動化
Satoshi Akama
仕事を遊びにする自動化とガラクタプロダクト
仕事を遊びにする自動化とガラクタプロダクト
Yusuke Hosokoshi
【セプテーニHD】2016年9月期 第1四半期決算説明会資料
【セプテーニHD】2016年9月期 第1四半期決算説明会資料
SEPTENI HOLDINGS CO.,LTD.
クリスマスを支える俺たちとJava(JJUG CCC 2015 Spring AB4)
クリスマスを支える俺たちとJava(JJUG CCC 2015 Spring AB4)
Koichi Sakata
Tdtechtalk20160425myui
Tdtechtalk20160425myui
Makoto Yui
capybara で快適なテスト生活を
capybara で快適なテスト生活を
Ryunosuke SATO
Croozにおけるjenkins活用事例20130618
Croozにおけるjenkins活用事例20130618
Katsuya Ohnishi
さくらのクラウド導入セミナー(2016.10) 第二部 活用編
さくらのクラウド導入セミナー(2016.10) 第二部 活用編
さくらインターネット株式会社
ドリコムを支える課金ライブラリを支えるJenkins
ドリコムを支える課金ライブラリを支えるJenkins
Go Sueyoshi (a.k.a sue445)
Destaque
(20)
第32回デザイン勉強会 「web制作のプロトタイピングツール」
第32回デザイン勉強会 「web制作のプロトタイピングツール」
20101220 pixiv tech_meeting
20101220 pixiv tech_meeting
マッチングサイト構築の要点
マッチングサイト構築の要点
pixivの画像アップロードシステム
pixivの画像アップロードシステム
さくらのクラウド・サービス概要と構成例(第29回 さくらの夕べin徳島)
さくらのクラウド・サービス概要と構成例(第29回 さくらの夕べin徳島)
Nginxを使ったオレオレCDNの構築
Nginxを使ったオレオレCDNの構築
第2回 Jenkins勉強会 LT 藤川
第2回 Jenkins勉強会 LT 藤川
osoljp201105_ZFSjiman_nslope
osoljp201105_ZFSjiman_nslope
[さくらのクラウド] ウェブアクセラレータ紹介資料
[さくらのクラウド] ウェブアクセラレータ紹介資料
プログラマとデザイナで時計を作るVisual studioハッカソン ~ TDDの考え方を開発全体に応用してみよう!
プログラマとデザイナで時計を作るVisual studioハッカソン ~ TDDの考え方を開発全体に応用してみよう!
コンピュータの構成と設計 第3版 第2章 勉強会資料
コンピュータの構成と設計 第3版 第2章 勉強会資料
JenkinsとjMeterで負荷テストの自動化
JenkinsとjMeterで負荷テストの自動化
仕事を遊びにする自動化とガラクタプロダクト
仕事を遊びにする自動化とガラクタプロダクト
【セプテーニHD】2016年9月期 第1四半期決算説明会資料
【セプテーニHD】2016年9月期 第1四半期決算説明会資料
クリスマスを支える俺たちとJava(JJUG CCC 2015 Spring AB4)
クリスマスを支える俺たちとJava(JJUG CCC 2015 Spring AB4)
Tdtechtalk20160425myui
Tdtechtalk20160425myui
capybara で快適なテスト生活を
capybara で快適なテスト生活を
Croozにおけるjenkins活用事例20130618
Croozにおけるjenkins活用事例20130618
さくらのクラウド導入セミナー(2016.10) 第二部 活用編
さくらのクラウド導入セミナー(2016.10) 第二部 活用編
ドリコムを支える課金ライブラリを支えるJenkins
ドリコムを支える課金ライブラリを支えるJenkins
Semelhante a pixivのインフラを支える技術
#cross2012 クラウドCROSS ニフティの中の人によるニフティクラウド活用
#cross2012 クラウドCROSS ニフティの中の人によるニフティクラウド活用
Abe Junichiro
LINEのMySQL運用について
LINEのMySQL運用について
LINE Corporation
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
takanori suzuki
自宅ラック勉強会 2.2 夏のZabbix特別教室 ~構築編~
自宅ラック勉強会 2.2 夏のZabbix特別教室 ~構築編~
真乙 九龍
オープンソースでシステム監視!統合監視ソフトウェアZABBIXの機能と利用事例のご紹介
オープンソースでシステム監視!統合監視ソフトウェアZABBIXの機能と利用事例のご紹介
Kodai Terashima
OSC2012 Nagoya - OpenStack - Storage System; Overview
OSC2012 Nagoya - OpenStack - Storage System; Overview
irix_jp
AlibabaCloudではじめるKubernetes
AlibabaCloudではじめるKubernetes
Shinya Mori (@mosuke5)
LINEのMySQL運用について 修正版
LINEのMySQL運用について 修正版
LINE Corporation
Cloud stack入門
Cloud stack入門
Tadashi Mishima
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
Akihiro Kuwano
Zabbix-jp study #4 20111020 session2
Zabbix-jp study #4 20111020 session2
Hitoshi Yoshida
OpenStack + KVM + IPv6 = oname.com; Next Folsom/Grizzly Service development s...
OpenStack + KVM + IPv6 = oname.com; Next Folsom/Grizzly Service development s...
Naoto Gohko
OSSで作るOpenStack監視システム
OSSで作るOpenStack監視システム
satsuki fukazu
OSC2017 Hokkaido. MySQL今こそインストールを極めよう~改めて考える環境構築~
OSC2017 Hokkaido. MySQL今こそインストールを極めよう~改めて考える環境構築~
sakaik
OpenStack with SR-IOV
OpenStack with SR-IOV
Hideki Saito
Reco choku tech night #09 -reinvent2018報告会-
Reco choku tech night #09 -reinvent2018報告会-
recotech
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
Iwasaki Noboru
Zabbixのパフォーマンスチューニング & インストール時の注意点
Zabbixのパフォーマンスチューニング & インストール時の注意点
Kodai Terashima
AWSクラウドデザインパターン(CDP) - Eコマース編 -
AWSクラウドデザインパターン(CDP) - Eコマース編 -
SORACOM, INC
Ansible ネットワーク自動化チュートリアル (JANOG42)
Ansible ネットワーク自動化チュートリアル (JANOG42)
akira6592
Semelhante a pixivのインフラを支える技術
(20)
#cross2012 クラウドCROSS ニフティの中の人によるニフティクラウド活用
#cross2012 クラウドCROSS ニフティの中の人によるニフティクラウド活用
LINEのMySQL運用について
LINEのMySQL運用について
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
自宅ラック勉強会 2.2 夏のZabbix特別教室 ~構築編~
自宅ラック勉強会 2.2 夏のZabbix特別教室 ~構築編~
オープンソースでシステム監視!統合監視ソフトウェアZABBIXの機能と利用事例のご紹介
オープンソースでシステム監視!統合監視ソフトウェアZABBIXの機能と利用事例のご紹介
OSC2012 Nagoya - OpenStack - Storage System; Overview
OSC2012 Nagoya - OpenStack - Storage System; Overview
AlibabaCloudではじめるKubernetes
AlibabaCloudではじめるKubernetes
LINEのMySQL運用について 修正版
LINEのMySQL運用について 修正版
Cloud stack入門
Cloud stack入門
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
Zabbix-jp study #4 20111020 session2
Zabbix-jp study #4 20111020 session2
OpenStack + KVM + IPv6 = oname.com; Next Folsom/Grizzly Service development s...
OpenStack + KVM + IPv6 = oname.com; Next Folsom/Grizzly Service development s...
OSSで作るOpenStack監視システム
OSSで作るOpenStack監視システム
OSC2017 Hokkaido. MySQL今こそインストールを極めよう~改めて考える環境構築~
OSC2017 Hokkaido. MySQL今こそインストールを極めよう~改めて考える環境構築~
OpenStack with SR-IOV
OpenStack with SR-IOV
Reco choku tech night #09 -reinvent2018報告会-
Reco choku tech night #09 -reinvent2018報告会-
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
Zabbixのパフォーマンスチューニング & インストール時の注意点
Zabbixのパフォーマンスチューニング & インストール時の注意点
AWSクラウドデザインパターン(CDP) - Eコマース編 -
AWSクラウドデザインパターン(CDP) - Eコマース編 -
Ansible ネットワーク自動化チュートリアル (JANOG42)
Ansible ネットワーク自動化チュートリアル (JANOG42)
pixivのインフラを支える技術
1.
pixivのインフラを 支える技術
2009/09/25 ピクシブ株式会社 上薗 竜太
2.
自己紹介
3.
自己紹介 上薗 竜太 kamipo ピクシブ株式会社
2008年11月入社 インフラの設計・構築・運用管理
4.
アジェンダ pixivについて pixivのインフラ
自作サーバ システム構成 運用構築あれこれ まとめ
5.
pixivについて
6.
pixivについて
7.
pixivについて イラストコミュニケーションサービス 2007年09月10日 〜 サービス規模
125万ユーザ 8億5000万PV/月 3000万PV/日 関連サービス drawr http://drawr.net/ drawTwit http://drawtwit.com/ サーバ160台
8.
pixivのインフラ 自作サーバ
9.
自作サーバ
10.
自作サーバ
11.
自作サーバ
12.
自作サーバ
13.
自作サーバ
14.
自作サーバ
15.
pixivのインフラ システム構成
16.
システム構成 OS Linux
2.6 (Debian lenny) Webサーバ apache 2.2.9 (prefork, event) データベース mysql 5.0.67 (tritonn 1.0.12) アプリケーション PHP 5.2.6 (+ APC)
17.
システム構成 ロードバランサ mod_proxy_balancer (L7)
LVS (L4) キャッシュサーバ memcached 1.4.1 (データベース) squid 2.7 (画像)
18.
システム構成
19.
システム構成
20.
運用構築あれこれ
21.
apacheのMPM prefork
PHPサーバ用 event workerの改良版 proxy、画像サーバ用
22.
KeepAlive prefork
KeepAlive Off event KeepAlive On MaxKeepAliveRequests 100 KeepAliveTimeout 2
23.
mysqlの運用 mysqlは自動起動にしない ウォームアップ後に本番に投入
cat *.MY[ID] *.SEN* とにかくデータをメモリに乗せることが重要 メモリ増設 4GB -> 8GB データベース分割 現在4つに分割している データベース分割が難しいときは参照分割
24.
mysqlの運用 メディック 復旧専用のスレーブ機
障害機にスナップショットを転送
25.
netfilter (iptables) ip_conntrack_maxの値が規定値だと小さい
ip_conntrack: table full, dropping packet. デフォルトだと65536 sysctl -w ¥ net.ipv4.netfilter. ip_conntrack_max=262144
26.
netfilter (iptables)
27.
noatime/relatime デフォルト
常にatimeを更新する noatime 常にatimeを更新しない relatime atimeがctimeやmtimeより古いとき更新
28.
noatime/relatime
29.
noatime/relatime
30.
noatime/relatime
31.
運用管理あれこれ インストール PXEブート
preseed setup.sh Subversion configファイルのバージョン管理 commit時にMLに通知
32.
運用管理あれこれ アプリケーションのデプロイ staging環境から本番環境にrsync Capistrano
多数のサーバにコマンド発行できる cap invoke COMMAND='cat /proc/loadavg'
33.
まとめ pixivのインフラについて紹介しました
セオリー通りでなんとかなります 運用や構築について ちょっとしたことが大きく効いてきます
34.
ご清聴 ありがとうございました
Baixar agora