web-dev-qa-db-fra.com

Ajout d'index aux grandes tables mysql

J'ai une table

| base_schedule_line_items | CRÉER UNE TABLE base_schedule_line_items (
id int (10) non signé NOT NULL AUTO_INCREMENT,
installment int (10) unsigned NOT NULL,
on_date date NOT NULL,
actual_date date DEFAULT NULL,
payment_type int (11) NOT NULL,
scheduled_principal_outstanding décimal (65,0) NOT NULL,
scheduled_principal_due décimal (65,0) NOT NULL,
scheduled_interest_outstanding décimal (65,0) NOT NULL,
scheduled_interest_due décimal (65,0) NOT NULL,
currency int (11) NOT NULL,
updated_at datetime NOT NULL DEFAULT '2013-01-06 14:29:16',
created_at datetime NOT NULL DEFAULT '2013-01-06 14:29:16',
loan_base_schedule_id int (10) non signé NOT NULL,
lending_id int (10) non signé NOT NULL,
reschedule tinyint (1) PAR DÉFAUT '0',
CLÉ PRIMAIRE (id),
TOUCHE index_base_schedule_line_items_loan_base_schedule (loan_base_schedule_id), CLÉ index_bslt_spd (scheduled_principal_due),
TOUCHE index_bslt_lending (lending_id),
TOUCHE index_bslt_actualdate (actual_date),
TOUCHE index_bslt_spsila (loan_base_schedule_id, scheduled_principal_due, scheduled_interest_due, actual_date),
TOUCHE index_bslt_ondate (on_date),
TOUCHE index_bslt_oa (on_date, actual_date),
TOUCHE index_bslt_ol (on_date, loan_base_schedule_id),
TOUCHE index_bslt_oli (on_date, lending_id)
) MOTEUR = InnoDB AUTO_INCREMENT = 30410126 CHARGES PAR DEFAUT = utf8 |

Maintenant que cette table contient 30 millions d'enregistrements, j'ai besoin d'ajouter deux autres index à cela et il faut des années pour l'ajouter.

modifier la table base_schedule_line_items add index index_bslt_sla (schedule_principal_due, actual_date, lending_id);
modifier la table base_schedule_line_items add index index_bslt_ssla (schedule_principal_due, schedule_interest_due, lending_id, actual_date);

J'ai utilisé la requête mentionnée ci-dessous pour connaître la taille de la table

SELECT table_name AS "Tables", round (((data_length + index_length)/1024/1024), 2) "Size in MB" FROM information_schema.TABLES WHERE table_schema = "my_database_name";

Le résultat est sorti comme

base_schedule_line_items | 20111.00

Je l'ai utilisé juste pour calculer la longueur des données et la longueur d'index omise

SELECT table_name AS "Tables", round (((data_length)/1024/1024), 2) "Size in MB" FROM information_schema.TABLES WHERE table_schema = "my_database_name";

et le résultat était

base_schedule_line_items | 9497,00

Les index

KEY index_bslt_actualdate (actual_date),
KEY index_bslt_spsila (loan_base_schedule_id, schedule_principal_due, schedule_interest_due, actual_date),
KEY index_bslt_ondate (on_date),
KEY index_bslt_oa (on_date, actual_date),
KEY index_bslt_ol (on_date, loan_base_schedule_id),
KEY index_bslt_oli (on_date, lending_id)

ont été ajoutés par moi, mais je ne sais pas trop dans quel but d'autres indices ont été ajoutés. Il s'agit d'une application assez importante. Maintenant, je dois ajouter ces deux indices mentionnés ci-dessus car ils m'aident à extraire un rapport à l'aide d'une instruction select et je trouve qu'il est très difficile de les ajouter. Toute aide serait grandement appréciée

mysqlindexindex-tuning
13
user2294477

L'activité de modification des grandes tables se fait en plusieurs phases:

  1. Créer une nouvelle table avec les champs et les index obligatoires, par exemple dans la base de données de test (structure juste)
  2. Vider les données de la table existante et les charger dans la table nouvellement créée dans la base de données de test
  3. Annoncez maintenant votre temps d'arrêt :)
  4. Échangez les tables en renommant - RENAME table ur_db.table_name to test.temp, test.table_name to ur_db.table_name, test.temp to test.table_name; Il s'agit d'une opération atomique prenant une fraction de seconde.
  5. Chargez les enregistrements supplémentaires dans la table nouvellement créée (les enregistrements qui sont arrivés après le vidage puis le chargement). Cette étape peut être effectuée avant l'étape: 3 également une fois pour réduire votre temps d'arrêt.
  6. Et votre système est de retour

Quelques notes:

  1. Vous n'avez pas besoin d'accéder directement au schéma d'information comme celui-ci, essayez d'utiliser SHOW TABLE STATUS from db like 'table_name'
  2. La vitesse de alter table est plus ou moins liée à la vitesse d'E/S. La dernière fois que nous avons exécuté une table de modification directe (sans les étapes ci-dessus), nous avions une taille de table de 40 Go +, cela a pris environ 4 heures. Si vos données de 20 Go prennent des années, vous travaillez sur une machine obsolète.
  3. Supprimez également les index indésirables comme index_bslt_ondate, index_base_schedule_line_items_loan_base_schedule car certains autres index ont la colonne la plus à gauche comme colonne indexée

Veuillez me faire savoir si vous avez besoin d'éclaircissements sur l'une de ces étapes.

Edit: Un simple script python pour automatiser le processus https://github.com/georgecj11/hotswap_mysql_table.git

16
georgecj11

Vous pouvez utiliser un outil comme pt-online-schema-change pour ajouter l'index sans bloquer votre application. La logique de base est la suivante:

  • créer une copie vide de la table avec le nouvel index
  • ajouter des déclencheurs à la table existante afin que toutes les modifications qui atteignent la table soient appliquées à la copie de la table *
  • commencer à copier les lignes de l'ancienne table vers la nouvelle
  • une fois la copie terminée, échangez les tableaux
  • déposez l'ancienne table

* L'outil ne fonctionne pas s'il y a des déclencheurs existants sur la table

Le comportement de permutation et de suppression peut être ajusté en fonction des options transmises à l'outil.

En outre, il existe des problèmes avec les clés étrangères, alors assurez-vous de lire la documentation de l'outil pour bien comprendre ce qu'il fait.

Et bien sûr, il est sage de s'assurer que vous disposez d'une sauvegarde de la table pour pouvoir la restaurer si nécessaire.

10
Derek Downey