Использование python3 в оболочке script в crontab

Я пытаюсь запустить оболочку script с помощью crontab, которая запускает скрипты python3. Кронтаб предназначен для группы пользователей. Теперь он запускает script, но не скрипты python3 внутри него. Я пытаюсь отладить его, но я не могу понять, что происходит. Это может быть проблема с разрешением или проблема с пути, но я не могу понять. Это строка crontab

*/5 * * * * /home/group_name/path/to/script/run.sh

Как я уже сказал, выполняется задание cron или, по крайней мере, это то, что я думаю с тех пор, когда я запускаю sudo grep CRON /var/log/syslog, я получаю строки типа

 Feb 16 20:35:01 ip-**-**-*-*** CRON[4947]: (group_name) CMD (/home/group_name/path/to/script/run.sh)

справа внизу я также получаю строку, которая может иметь какое-то отношение к проблеме

Feb 16 20:35:01 ip-**-**-*-*** CRON[4946]: (CRON) info (No MTA installed, discarding output)

и, наконец, run.sh выглядит следующим образом

#!/bin/bash

# get path to script and path to script directory
SCRIPT=$(readlink -f "$0")
SCRIPTPATH=$(dirname "$SCRIPT")

echo "set directory"
cd "$SCRIPTPATH"

echo "run first script"
/usr/bin/python3 ./first_script.py > ./log1.txt

Однако, когда выполнение задания cron выполняется, ничего не происходит, когда я запускаю его вручную, cahnges в базу данных происходит так, как ожидалось. Группа имеет те же права, что и я. Файл оболочки может быть выполнен мной, а группа и файлы python не могут быть выполнены мной, поэтому я не знаю, зачем нужна группа.

PS: Я хочу выполнить python script в оболочке, так как у нас много скриптов с несколькими аргументами и, следовательно, crontab будет перенаселен, а некоторые скрипты должны выполняться в определенном порядке.

EDIT: Добавление exec >> /tmp/output 2>&1 сразу после #! /bin.bash записывает эхо-сигналы в /tmp/output всякий раз, когда я запускаю его вручную, но не тогда, когда я запускаю его в cron, даже не до запуска любого python script.

Запуск одного из скриптов python непосредственно из cron работает, однако, даже если я скопирую вставить ту же самую строку, что и в cron, в файл оболочки, ничего не происходит.

Ответ 1

1) Сообщение "Нет установленного MTA" не означает никакой ошибки, оно указывает только, что без почтового сервера cron не может сообщить какие-либо детали.

Измените задание cron, чтобы записать его вывод в syslog:

*/5 * * * * /home/group_name/path/to/script/run.sh 2>&1 | /usr/bin/logger -t run.sh

Затем проверьте результаты через sudo tail -f /var/log/syslog (или sudo tail -f /var/log/messages на RedHat и SuSE)

В качестве альтернативы установите Postfix и настройте его для доставки только "локальным":

sudo apt-get install postfix

Затем проверьте почту как пользователя group_name.

2) Перенаправление > ./log1.txt в run.sh должно перезаписывать файл журнала при каждом выполнении. Если python script завершился с ошибкой, то log1.txt останется усеченным до нулевой длины. В этом случае измените последнюю строку run.sh:

/usr/bin/python3 ./first_script.py 2>&1 > ./log1.txt

и проверьте результаты.

Если log1.txt не усекается и не содержит свежий вывод, то питон script вообще не запускается. См. Шаг 1) для отладки run.sh.

Ответ 2

Измените эту строку:

*/5 * * * * /home/group_name/path/to/script/run.sh

в

*/5 * * * * cd /home/group_name/path/to/script && /home/group_name/path/to/script/run.sh

Относительно/var/log/syslog, когда вы смотрите в /var/log/syslog, посмотрите на отметки времени, чтобы выяснить, выполняется ли задание cron.

Что касается задания cron, которое невозможно записать в log.txt, это может иметь отношение к разрешениям. Попробуйте изменить эту строку:

/usr/bin/python3 ./first_script.py > ./log1.txt

в

/usr/bin/python3 /full/path/to/first_script.py > /tmp/log1.txt

Посмотрите, есть ли разница. cron должен иметь возможность записывать в/tmp.

Ответ 3

Последняя строка в bash script содержит относительные пути (./) Я считаю, что это проблема.

Ответ 4

В этой проблеме много компонентов. Я игнорирую ошибку MTA, потому что это просто уведомление по электронной почте, когда заканчивается ваше задание cron. Я также предполагаю, что у вас есть разрешения, установленные правильно и что ваш script работает отлично, когда запускается вручную в оболочке.

Самая большая проблема заключается в том, что команда CRON не совпадает с запуском команды из терминала "shell". Вы должны указать, что ваш script запускается с использованием bash. Измените задание cron:

*/5 * * * * /home/group_name/path/to/script/run.sh 

в

*/5 * * * * bash /home/group_name/path/to/script/run.sh

Этот вопрос содержит дополнительную информацию и дополнительные возможности для решения проблемы.

Ответ 5

В настоящее время существует много догадок о проблеме, и это связано с тем, что ваша система не может отправить вам сообщение об ошибке, чтобы точно объяснить, в чем проблема. Я столкнулся с подобной проблемой некоторое время назад, был перегружен попыткой настроить реальную почтовую систему, поэтому написал короткую пересылку почты sendmail в режиме ожидания: pygeon_mail:

#!/usr/bin/python
from __future__ import with_statement
from email.mime.text import MIMEText
import email
import os
import pwd
import smtplib
import stat
import sys
import syslog
import traceback


CONFIG = '/etc/pygeon_mail.rc'
# example config file
#
# server=mail.example.com
# port=25
# domain=example.com
# host=this_pc_host_name
# [email protected],[email protected]
# [email protected]
# [email protected]


def check_dangerously_writable(filename):
    "return the bits of group/other that are writable"
    mode = stat.S_IMODE(os.stat(filename)[0])       # get the mode bits
    if mode & (stat.S_IWGRP | stat.S_IWOTH):        # zero means not set
    syslog.syslog("%s must only be writable by root, aborting" % (filename, ))
    sys.exit(1)

def get_config(filename, config=None):
    "return settings from config file"
    check_dangerously_writable(filename)
    if config is None:
    config = {}
    with open(filename) as settings:
    for line in settings:
        line = line.strip()
        if line and line[:1] != '#':
        key, value = line.split('=')
        key, value = key.strip(), value.strip()
        config[key] = value
    return config

def mail(server, port, sender, receiver, subject, message):
    """sends email.message to server:port

    receiver is a list of addresses
    """
    msg = MIMEText(message.get_payload())
    for address in receiver:
    msg['To'] = address
    msg['From'] = sender
    msg['Subject'] = subject
    for header, value in message.items():
    if header in ('To','From', 'Subject'):
        continue
    msg[header] = value
    smtp = smtplib.SMTP(server, port)
    try:
    send_errs = smtp.sendmail(msg['From'], receiver, msg.as_string())
    except smtplib.SMTPRecipientsRefused as exc:
    send_errs = exc.recipients
    smtp.quit()
    if send_errs:
    errs = {}
    for user in send_errs:
        if '@' not in user:
        errs[user] = [send_errs[user]]
        continue
        server = 'mail.' + user.split('@')[1]
        smtp = smtplib.SMTP(server, 25)
        try:
        smtp.sendmail(msg['From'], [user], msg.as_string())
        except smtplib.SMTPRecipientsRefused as exc:
        if send_errs[user] != exc.recipients[user]:
            errs[user] = [send_errs[user], exc.recipients[user]]
        else:
            errs[user] = [send_errs[user]]
        smtp.quit()
    for user, errors in errs.items():
        for code, response in errors:
        syslog.syslog('%s --> %s: %s' % (user, code, response))
    return errs


if __name__ == '__main__':
    syslog.openlog('pygeon', syslog.LOG_PID)
    try:
    config = get_config(CONFIG)
    root = config.get('root')
    domain = config.get('domain', '')
    if domain:
        domain = '@' + domain
    sender = None
    receiver = []
    dot_equals_blank = False
    ignore_rest = False
    next_arg_is_subject = False
    redirect = False
    subject = ''
    for i, arg in enumerate(sys.argv[1:]):
        if next_arg_is_subject:
        subject = arg
        next_arg_is_subject = False
        sys.argv[i] = '"%s"' % (arg, )
        elif arg == '-s':
        next_arg_is_subject = True
        elif arg == '-i':
        dot_equals_blank = True
        elif arg[:2] == '-F':
        sender = arg[2:]
        elif arg[0] != '-':
        receiver.append(arg)
        else:
        pass
    command_line = ' '.join(sys.argv)
    if sender is None:
        sender = pwd.getpwuid(os.getuid()).pw_name
    sender = '%[email protected]%s' % (sender, config['host'])
    if not receiver:
        receiver.append(pwd.getpwuid(os.getuid()).pw_name)
    limit = len(receiver)
    for i, target in enumerate(receiver):
        if i == limit:
        break
        if '@' not in target:
        receiver[i] = ''
        receiver.extend(config.get(target, target+domain).split(','))
    receiver = [r for r in receiver if r]
    server = config['server']
    port = int(config['port'])
    all_data = []
    text = []
    while True:
        data = sys.stdin.read()
        if not data:
        break
        all_data.append(data)
        if ignore_rest:
        continue
        for line in data.split('\n'):
        if line == '.':
            if dot_equals_blank:
            line = ''
            else:
            ignore_rest = True
            break
        text.append(line)
    text = '\n'.join(text)
    message = email.message_from_string(text)
    errs = mail(server, port, sender, receiver, subject, message)
    except Exception:
    exc, err, tb = sys.exc_info()
    lines = traceback.format_list(traceback.extract_tb(tb))
    syslog.syslog('Traceback (most recent call last):')
    for line in lines:
        for ln in line.rstrip().split('\n'):
        syslog.syslog(ln)
    syslog.syslog('%s: %s' % (exc.__name__, err))
    sys.exit(1)
    else:
    receiver = []
    debug_email = config.get('debug', None)
    if debug_email:
        receiver.append(debug_email)
    if errs and root not in receiver:
        receiver.append(root)
    if receiver:
        debug = [
            'command line:',
            '-------------',
            repr(command_line),
            '-' * 79,
            '',
            'sent email:',
            '-----------',
            text,
            '-' * 79,
            '',
            'raw data:',
            '---------',
            ''
            ]
        all_data = ''.join(all_data)
        while all_data:
        debug_text, all_data = repr(all_data[:79]), all_data[79:]
        debug.append(debug_text)
        debug.append('-' * 79)
        if errs:
        debug.extend([
            '',
            'errors:',
            '-------',
            ])
        for address, error in sorted(errs.items()):
            debug.append('%r: %r' % (address, error))
        debug.append('-' * 79)
        text = '\n'.join(debug)
        message = email.message_from_string(text)
        mail(server, port, '[email protected]%s' % config['host'], receiver, subject+'  [pygeon_mail debugging info]', message)
    if errs:
        sys.exit(1)

Он был написан для Python 2.5 и должен работать с 2.6 и 2.7.

Он должен быть скопирован в /usr/sbin/sendmail с разрешениями 0755 и принадлежит root:

sudo cp pygeon_mail/usr/sbin/sendmail

sudo chown root: root/usr/sbin/sendmail

sudo chmod 0755/usr/sbin/sendmail

Вам нужно создать конфигурационный файл /etc/pygeon_mail.rc (см. пример для примера).

Затем вы можете проверить его следующим образом:

$echo какая-то полезная информация | sendmail сам - "важный вопрос"

и вы, надеюсь, увидите это письмо в своей обычной учетной записи электронной почты (которую вы установили в файле /etc/pygeon_mail.rc).

После этого вы сможете получить фактическую ошибку, и мы действительно сможем вам помочь

Ответ 6

Если вы регистрируете вывод script, который вы вызываете с помощью cron, вы можете легко найти ошибку. Попробуйте что-то вроде этого:

*/10 * * * * sh /bin/execute/this/script.sh >> /var/log/script_output.log 2>&1