Как заставить работать очередь laravel в aws beanstalk?
Я создал экземпляры AWS Beanstalk и RDS. Я тестирую проект, который синхронизирует файлы FTP и S3.
Как заставить обычную php artisan queue: work или php artisan queue: listen работать в AWS Beanstalk ?
Мне известны Redis, ElastiCache и т. Д. Я не тестировал их. Но я пытаюсь заставить его работать только с драйвером базы данных .
Я также знаю только о доступе к SSH, но есть ли способ обрабатывать задания в очереди без использования SSH? Может быть, вам нравится использовать .ebconfig?
Идеальным способом сделать это было бы создание файла .ebextensions/01_queue_worker.config с содержимым, которое запускает команду php artisan queue:work.
Что-то вроде:
container_commands:
01_queue_worker:
command: "php artisan queue:work"
Теперь, если вы не хотите запускать работника очереди на web-сервере, а только на отдельном выделенном рабочем узле, то вы можете создать переменную окружения под названием "WORKER" и установить ее в true. Затем в конфигурационном файле ebextensions вы можете протестировать эту переменную и запустить скрипт только в том случае, если переменная "WORKER" имеет значение "true". Это будет выглядеть следующим образом:
container_commands:
01_queue_worker:
test: '[ "${WORKER}" == "true" ]'
command: "php artisan queue:work"
Как правило, в любое время, когда вам нужно будет внести какие-либо изменения в то, что работает на Elasticbeanstalk, попробуйте просмотреть ebextensions -. Это механизм, используемый AWS для внесения модификаций.
Использование нового amazon Linux AMI 2 (рекомендуется)
В настоящий момент файлы журнала не работают для Linux AMI 2 , конфигурация должна быть такой же, когда эта проблема будет исправлена, поэтому я оставил команды создать их.
С момента первого сообщения в дорожной карте eb было объявлено, что платформа PHP была обновлена, что значительно упростило задачу. Под файлом .ebextensions находится также файл .platform, который необходимо настроить. В противном случае nginx выдаст ошибку 404 на всех маршрутах.
В этом образе используется Systemd, что значительно упрощает процесс, поскольку супервизор больше не нужен. К сожалению, ключевое слово services еще не поддерживается для новых изображений, поэтому службу необходимо запускать и перезапускать с помощью ключевого слова container_commands .
Этот файл содержит все команды, которые я выполняю в каждой производственной среде, не забудьте изменить их так, как вам нужно:
\.ebextension\01-setup.config
container_commands:
01-no_dev:
command: "composer.phar install --optimize-autoloader --no-dev"
02-config_clear:
command: "php artisan config:clear"
03-route_cache:
command: "php artisan route:cache"
04-view_cache:
command: "php artisan view:cache"
05-migrate:
command: "php artisan migrate"
leader_only: true
06-queue_start:
command: "systemctl restart laravel_worker"
files:
/opt/elasticbeanstalk/tasks/taillogs.d/laravel-logs.conf:
content: /var/app/current/storage/logs/laravel.log
group: root
mode: "000755"
owner: root
/etc/systemd/system/laravel_worker.service:
mode: "000755"
owner: root
group: root
content: |
# Laravel queue worker using systemd
# ----------------------------------
#
# /lib/systemd/system/queue.service
#
# run this command to enable service:
# systemctl enable queue.service
[Unit]
Description=Laravel queue worker
[Service]
User=nginx
Group=nginx
Restart=always
ExecStart=/usr/bin/nohup /usr/bin/php /var/www/html/laravel-project/artisan queue:work --daemon
[Install]
WantedBy=multi-user.target
И второй файл:
\.platform\nginx\conf.d\elasticbeanstalk\laravel.conf
location / {
try_files $uri $uri/ /index.php?$query_string;
gzip_static on;
}
Использование amazon Linux AMI (предыдущее изображение)
Лучший способ - запустить супервизор для управления очередями в рамках службы, чтобы гарантировать, что она продолжает работать даже после перезагрузки.
В вашем файле конфигурации внутри .ebextensions
1- Установите супервизор с пакетами. ключевое слово python использует под капотом pip и easy_install :
packages:
python:
supervisor: []
2- Создайте файл конфигурации супервизора:
files:
/usr/local/etc/supervisord.conf:
mode: "000755"
owner: root
group: root
content: |
[unix_http_server]
file=/tmp/supervisor.sock ; (the path to the socket file)
[supervisord]
logfile=/tmp/supervisord.log ; (main log file;default $CWD/supervisord.log)
logfile_maxbytes=50MB ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10 ; (num of main logfile rotation backups;default 10)
loglevel=info ; (log level;default info; others: debug,warn,trace)
pidfile=/tmp/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
nodaemon=false ; (start in foreground if true;default false)
minfds=1024 ; (min. avail startup file descriptors;default 1024)
minprocs=200 ; (min. avail process descriptors;default 200)
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL for a unix socket
[include]
files = /etc/supervisor/conf.d/*.conf
[inet_http_server]
port = 127.0.0.1:9001
3- Создайте файл процесса супервизора из раздела конфигурирования супервизора в документации laravel:
files:
/etc/supervisor/conf.d/laravel-worker.conf:
content: |
[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /var/app/current/artisan queue:work database --sleep=3 --tries=3
autostart=true
autorestart=true
;user=root
numprocs=1
redirect_stderr=true
;stdout_logfile=/var/app/current/storage/logs/worker.log
stopwaitsecs=3600
4- Создайте службу, которая запускает супервизор.Это то же самое, что этот ответ с добавленными строками chkconfig и processname. Это позволит нам позже запустить его как службу.
files:
/etc/init.d/supervisord:
mode: "000755"
owner: root
group: root
content: |
#!/bin/bash
#chkconfig: 345 99 76
# processname: supervisord
# Source function library
. /etc/rc.d/init.d/functions
# Source system settings
if [ -f /etc/sysconfig/supervisord ]; then
. /etc/sysconfig/supervisord
fi
# Path to the supervisorctl script, server binary,
# and short-form for messages.
supervisorctl=/usr/local/bin/supervisorctl
supervisord=${SUPERVISORD-/usr/local/bin/supervisord}
prog=supervisord
pidfile=${PIDFILE-/tmp/supervisord.pid}
lockfile=${LOCKFILE-/var/lock/subsys/supervisord}
STOP_TIMEOUT=${STOP_TIMEOUT-60}
OPTIONS="${OPTIONS--c /usr/local/etc/supervisord.conf}"
RETVAL=0
start() {
echo -n $"Starting $prog: "
daemon --pidfile=${pidfile} $supervisord $OPTIONS
RETVAL=$?
echo
if [ $RETVAL -eq 0 ]; then
touch ${lockfile}
$supervisorctl $OPTIONS status
fi
return $RETVAL
}
stop() {
echo -n $"Stopping $prog: "
killproc -p ${pidfile} -d ${STOP_TIMEOUT} $supervisord
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && rm -rf ${lockfile} ${pidfile}
}
reload() {
echo -n $"Reloading $prog: "
LSB=1 killproc -p $pidfile $supervisord -HUP
RETVAL=$?
echo
if [ $RETVAL -eq 7 ]; then
failure $"$prog reload"
else
$supervisorctl $OPTIONS status
fi
}
restart() {
stop
start
}
case "$1" in
start)
start
;;
stop)
stop
;;
status)
status -p ${pidfile} $supervisord
RETVAL=$?
[ $RETVAL -eq 0 ] && $supervisorctl $OPTIONS status
;;
restart)
restart
;;
condrestart|try-restart)
if status -p ${pidfile} $supervisord >&/dev/null; then
stop
start
fi
;;
force-reload|reload)
reload
;;
*)
echo $"Usage: $prog {start|stop|restart|condrestart|try-restart|force-reload|reload}"
RETVAL=2
esac
exit $RETVAL
5- После создания всех файлов выполните следующие команды, чтобы запустить службу и добавить ее, чтобы ею можно было управлять:
commands:
command-1:
command: "/etc/init.d/supervisord start"
command-2:
command: "chkconfig --add supervisord"
6- Теперь ключевое слово services должно работать, что позволяет нам установить флаги включения и обеспечения выполнения. к истине.
services:
sysvinit:
supervisord:
enabled: "true"
ensureRunning: "true"
files:
- "/usr/local/etc/supervisord.conf"
Поместите все это в свой файл .config и разверните, чтобы очереди работали
Полный файл - не забудьте изменить номер chkconfig и обратите внимание, что я запускаю команду migrate: fresh
packages:
python:
supervisor: []
container_commands:
01-migrate:
command: "php artisan migrate:fresh --seed"
cwd: /var/app/ondeck
leader_only: true
files:
/opt/elasticbeanstalk/tasks/taillogs.d/laravel-logs.conf:
content: /var/app/current/storage/logs/laravel.log
group: root
mode: "000755"
owner: root
/etc/supervisor/conf.d/laravel-worker.conf:
content: |
[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /var/app/current/artisan queue:work database --sleep=3 --tries=3
autostart=true
autorestart=true
;user=root
numprocs=1
redirect_stderr=true
;stdout_logfile=/var/app/current/storage/logs/worker.log
stopwaitsecs=3600
/usr/local/etc/supervisord.conf:
mode: "000755"
owner: root
group: root
content: |
[unix_http_server]
file=/tmp/supervisor.sock ; (the path to the socket file)
[supervisord]
logfile=/tmp/supervisord.log ; (main log file;default $CWD/supervisord.log)
logfile_maxbytes=50MB ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10 ; (num of main logfile rotation backups;default 10)
loglevel=info ; (log level;default info; others: debug,warn,trace)
pidfile=/tmp/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
nodaemon=false ; (start in foreground if true;default false)
minfds=1024 ; (min. avail startup file descriptors;default 1024)
minprocs=200 ; (min. avail process descriptors;default 200)
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL for a unix socket
[include]
files = /etc/supervisor/conf.d/*.conf
[inet_http_server]
port = 127.0.0.1:9001
/etc/init.d/supervisord:
mode: "000755"
owner: root
group: root
content: |
#!/bin/bash
#chkconfig: <number>
# processname: supervisord
# Source function library
. /etc/rc.d/init.d/functions
# Source system settings
if [ -f /etc/sysconfig/supervisord ]; then
. /etc/sysconfig/supervisord
fi
# Path to the supervisorctl script, server binary,
# and short-form for messages.
supervisorctl=/usr/local/bin/supervisorctl
supervisord=${SUPERVISORD-/usr/local/bin/supervisord}
prog=supervisord
pidfile=${PIDFILE-/tmp/supervisord.pid}
lockfile=${LOCKFILE-/var/lock/subsys/supervisord}
STOP_TIMEOUT=${STOP_TIMEOUT-60}
OPTIONS="${OPTIONS--c /usr/local/etc/supervisord.conf}"
RETVAL=0
start() {
echo -n $"Starting $prog: "
daemon --pidfile=${pidfile} $supervisord $OPTIONS
RETVAL=$?
echo
if [ $RETVAL -eq 0 ]; then
touch ${lockfile}
$supervisorctl $OPTIONS status
fi
return $RETVAL
}
stop() {
echo -n $"Stopping $prog: "
killproc -p ${pidfile} -d ${STOP_TIMEOUT} $supervisord
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && rm -rf ${lockfile} ${pidfile}
}
reload() {
echo -n $"Reloading $prog: "
LSB=1 killproc -p $pidfile $supervisord -HUP
RETVAL=$?
echo
if [ $RETVAL -eq 7 ]; then
failure $"$prog reload"
else
$supervisorctl $OPTIONS status
fi
}
restart() {
stop
start
}
case "$1" in
start)
start
;;
stop)
stop
;;
status)
status -p ${pidfile} $supervisord
RETVAL=$?
[ $RETVAL -eq 0 ] && $supervisorctl $OPTIONS status
;;
restart)
restart
;;
condrestart|try-restart)
if status -p ${pidfile} $supervisord >&/dev/null; then
stop
start
fi
;;
force-reload|reload)
reload
;;
*)
echo $"Usage: $prog {start|stop|restart|condrestart|try-restart|force-reload|reload}"
RETVAL=2
esac
exit $RETVAL
commands:
command-1:
command: "/etc/init.d/supervisord start"
command-2:
command: "chkconfig --add supervisord"
services:
sysvinit:
supervisord:
enabled: "true"
ensureRunning: "true"
files:
- "/usr/local/etc/supervisord.conf"
Ответ @Aridez правильный, но мне пришлось внести еще несколько изменений, чтобы мои очереди работали правильно. Надеюсь, это принесет пользу кому-то еще.
Следующее работает для меня, используя Laravel 8, AWS SQS в AWS ElasticBeanstalk с Amazon Linux 2
Я смог легко помещать задания в очередь, но рабочие не выбирали задания из очереди. Мне потребовался день, чтобы понять, что обработчики очереди не получают переменные среды и, следовательно, не подключаются к SQS. Чтобы решить эту проблему, вам нужно добавить параметр EnvironmentFile в [Service].
Последующая проблема заключалась в том, как получить переменные среды в файле, поскольку я установил их через конфигурацию EB в консоли AWS. В этой статье ясно объясняется, как сделать копию среды с помощью хука .platform/postdeploy.
Возникшая последующая проблема заключалась в следующем: конфигурация, предоставленная Aridez, запускает рабочие процессы через container_commands, но на этапе их запуска файл env не создается, как описано в статье. Перемещение команд в хук после развертывания (приведенный ниже) исправило это.
Я также изменил пользователя и группу сервиса на webapp, так как root не чувствовал себя в безопасности, и с webapp тоже все работает нормально.
Я хотел, чтобы для моей очереди было несколько рабочих процессов, и сделать это так же просто, как добавить @ в конец имени вашей службы. Установите флажок Запустить N процессов с одним служебным файлом systemd .Код ниже запускает 3 рабочих.
.ebextensions/01_deploy.config
container_commands:
01_run_migrations:
command: "php artisan migrate --force"
leader_only: true
files:
/opt/elasticbeanstalk/tasks/taillogs.d/laravel-logs.conf:
content: /var/app/current/storage/logs/laravel.log
group: root
mode: "000644"
owner: root
/etc/systemd/system/laravel_queue_worker@.service:
mode: "000644"
owner: root
group: root
content: |
[Unit]
Description=Laravel queue worker
[Service]
User=webapp
Group=webapp
Restart=always
EnvironmentFile=/opt/elasticbeanstalk/deployment/laravel_env
ExecStart=/usr/bin/nohup /usr/bin/php /var/app/current/artisan queue:work
[Install]
WantedBy=multi-user.target
commands:
remove_service_bak_file:
command: "rm -f /etc/systemd/system/laravel_queue_worker@.service.bak"
.platform/hooks/postdeploy
#!/bin/bash
# https://aws.amazon.com/premiumsupport/knowledge-center/elastic-beanstalk-env-variables-linux2/
#Create a copy of the environment variable file.
cp /opt/elasticbeanstalk/deployment/env /opt/elasticbeanstalk/deployment/laravel_env
#Set permissions to the custom_env_var file so this file can be accessed by any user on the instance. You can restrict permissions as per your requirements.
chmod 644 /opt/elasticbeanstalk/deployment/laravel_env
#Remove duplicate files upon deployment.
rm -f /opt/elasticbeanstalk/deployment/*.bak
# Enable the workers
systemctl enable laravel_queue_worker@{1..3}.service
# Restart the workers
systemctl restart laravel_queue_worker@{1..3}.service