Восстановление работы служб сервера в случае ошибки Mysql —upgrade

Доброго времени друзья! Очередная заметка на тему администрирования сервера. Недавно работал с одним сервером, на котором установлена панель ISP Manager 6, в качестве базы данных используется MySQL 8. При перезагрузке сервера, MySQL не смог запуститься из-за ошибки, возникла проблема с доступом к служебной таблице пользователей, для решения проблемы было рекомендовано обновить базу данных mysql(её структуру, служебные таблицы и т.д.), с параметром Mysql —upgrade=FORCE. Но, результат не оправдал себя, в процесс обновления также произошел сбой. Как итог, также не могла запустить служба панели ISP Manager. В рамках этой заметки расскажу перечень шагов, которые помогли решить проблему.

Лог ошибок

Запуск службы MySQL:

Просмотр кода LOG

[ERROR] [MY-010316] [Server] Fatal error: Could not read the column 'authentication_string' from table 'mysql.user'. Please perform the MySQL upgrade procedure.
[ERROR] [MY-010952] [Server] The privilege system failed to initialize correctly. For complete instructions on how to upgrade MySQL to a new version please see the 'Upgrading MySQL' section from the MySQL manual.
[ERROR] [MY-010119] [Server] Aborting

Ошибка в процессе обновления (возникла из-за параллельного запуска двух процессов mysql):

Просмотр кода LOG

[InnoDB] Unable to lock ./ibdata1 error: 11
[ERROR] [MY-012592] [InnoDB] Operating system error number 11 in a file operation.
[ERROR] [MY-012596] [InnoDB] Error number 11 means ‘Resource temporarily unavailable’

Ошибка запуска ISP manager 6:

Просмотр кода LOG

backtrace [1;36mEXTINFO mgr_err::Error::Error(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, mgr_err::ErrorInfo const&) (/usr/local/mgr5/lib/libmgr.so.5.405.0 + 0x1ef) [*0x7f1e004d3b54][0m
backtrace [1;36mEXTINFO mgr_err::Access::Access(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, mgr_err::ErrorInfo const&) (/usr/local/mgr5/lib/libmgr.so.5.405.0 + 0x74) [*0x7f1e007d75e9][0m
backtrace [1;36mEXTINFO isp_api::InternalCall(isp_api::BaseConnection const&, isp_api::Authen const&, isp_api::Action const&) (/usr/local/mgr5/lib/libispapi.so.5.405.0 + 0x419) [*0x7f1e0111c277][0m

Решение

В качестве решения проблемы, были осуществлены следующие шаги:

1. Останавливаем службу mysql

Просмотр кода CONSOLE

systemctl stop mysql

2. Ищем процессы mysql

Просмотр кода CONSOLE

ps aux | grep mysql

3. Убиваем процессы mysql

Просмотр кода CONSOLE

kill -9 mysql

4. Останавливаем панель ISPmanager

Просмотр кода CONSOLE

/usr/local/mgr5/sbin/mgrctl -m ispmgr exit
pkill core
killall core

5. Чистим кеш ISPmanager

Просмотр кода CONSOLE

cd /usr/local/mgr5/var/.xmlcache/
rm -rf ./*
cd ~

5. Переходим в консоль mysql

Просмотр кода CONSOLE

mysql
 
mysql>

6. Восстанавливаем пользователей

Просмотр кода MYSQL

ALTER USER `roundcube`@`localhost` IDENTIFIED WITH mysql_native_password BY 'PASSWORD';
ALTER USER 'ispmgr'@'localhost' IDENTIFIED WITH mysql_native_password BY 'PASSWORD';
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'PASSWORD';
ALTER USER 'admin'@'localhost' IDENTIFIED WITH mysql_native_password BY 'PASSWORD';
FLUSH PRIVILEGES;
CREATE USER 'mysql.infoschema'@'localhost' IDENTIFIED BY '';
mysql> GRANT SELECT ON *.* TO `mysql.infoschema`@`localhost`;
exit;

7. Запускаем ISPmanager

Просмотр кода CONSOLE

service ihttpd restart
/usr/local/mgr5/bin/core

Следим за логом запуска в реальном времени:

Просмотр кода CONSOLE

tail -f /usr/local/mgr5/var/ispmgr.log
 
8. В случае ошибки запуска ISPmanager, перезапускаем панель
<pre lang="console">ps aux | grep core
kill -9 ID_PROCC
pkill core
killall core
service ihttpd restart
/usr/local/mgr5/bin/core 
tail -f /usr/local/mgr5/var/ispmgr.log

9. Смотрим какой порт слушает ihttpd

Просмотр кода CONSOLE