SQLAlchemyで生SQLを発行して大量データの取得を高速化してみた
はじめに SQLAlchemyを使用した既存システムのエンハンスを担当したときに、大量データを取り扱うシーンに直面しました。 数十万件程度のデータを取得するときに処理時間が長くなり、性能の劣化を懸念していましたが、改善に…
MySQL
はじめに SQLAlchemyを使用した既存システムのエンハンスを担当したときに、大量データを取り扱うシーンに直面しました。 数十万件程度のデータを取得するときに処理時間が長くなり、性能の劣化を懸念していましたが、改善に…
MySQL
はじめに PythonからMySQLにアクセスする際にSQLAlchemyを使用しているのですが、100万件ほどの大量データをINSERTする場合に処理時間が非常に長くかかってしまったため、高速化に取り組んでみました。 …
AWS
目次 はじめに Secrets Managerについておさらい Secrets Managerアップデート概要 ローテーションの仕組み ローテーションの実践 おわりに 参考一覧 はじめに システムで使用するユーザ名やパス…
AWS
Amazon Aurora Amazon Aurora は独自のストレージシステムを導入することで、典型的なオリジナルの MySQL に比べて、5 倍のパフォーマンスの改善しました。 Amazon Aurora では、以…
MySQL
とある日、MySQLにてクエリが溜まる事象が発生。 うーん、スロークエリにも結構出力されており、INDEXにも原因があるようだが、 データ件数がそこまで多くないので、他にも原因がありそう ということで調査を続行。 「SH…
MySQL
前回はApacheのソースインストールでしたが、今回はMySQL(5.7.17)です。 やってみると存外Apacheインストール時以外の気づきもあった為、書き記します。 前回と同様、トライアル&エラーで進めます。 手っ取…
MySQL
こんにちは豊かな大島です。 残暑?いやいや、ここからが苦しいのです。 夕方になると社内は灼熱なのです。油が溶けるのです。 だがしかし、これを乗り切れば秋がやってきます。秋は美味いものがいっぱ・・・・・・ そろそろ怒られそ…
MySQL
管理上、設定ファイルは1つにして、変数が重複しないように注意してください。 ◆ 設定ファイルを読み込む順番 ① /etc/my.cnf ② /etc/mysql/my.cnf ③ SYSCONFDIR/my…
Apache
こんにちは、佐藤駿です。 今回はAWSのEC2でサーバ(インスタンス)を起動させ、Wordpressのインストール方法を解説します。 実践される方は、インスタンスに静的なIPアドレスのサービスであるEIPを付与しておくこ…
MySQL
同僚が、time_zoneの設定に苦戦していたので。。。 ◆ time_zoneの確認・設定は下記になります。 【タイム ゾーンの確認】 SELECT @@global.time_zone, @@session.time…