Операционные системы семейства Linux, как впрочем, и любые другие ОС, предполагают наличие интерфейса взаимодействия между компонентами компьютерной системы и конечным пользователем, т. е. наличие программного уровня, который обеспечивает ввод команд и параметров для получения желаемых результатов. Такой программный уровень получил название "оболочка" или, на английском языке - shell .
Что такое оболочка?
Командная оболочка (shell ) обеспечивает взаимотействие между пользователем и средой операционной системы Linux. Она является специализированным программным продуктом, который обеспечивает выполнение команд и получения результатов их выполнения, или, если совсем уж упрощенно, оболочка - это программа, которая предназначена для обеспечения выполнения других программ по желанию пользователя. Примером оболочки может быть, например, интерпретатор команд command.com операционной системы MS DOS, или оболочка bash операционных систем Unix / Linux.
Все оболочки имеют схожие функции и свойства, в соответствием с их основным предназначением - выполнять команды пользователя и отображать результаты их выполнения:
Интерпретация командной строки.
Доступ к командам и результатам их выполнения.
Поддержка переменных, специальных символов и зарезервированных слов.
Обработка файлов, операций стандартного ввода и вывода.
Реализация специального языка программирования оболочки.
Для операционных систем семейства Unix / Linux возможно использование нескольких различных оболочек, отличающихся свойствами и методами взаимодействия с системой. Наиболее распространенными оболочками являются
sh - оболочка Bourne , классическая оболочка для ОС Unix
bash оболочка Bourne Again (GNU Bourne-Again SHell). Пожалуй, наиболее распространенная на данный момент, оболочка в среде ОС семейства Linux.
ksh - оболочка Korn , разработанная в качестве развития оболочки Bourne с историей командной строки и возможностью редактирования команд.
csh - оболочка C , использующая синтаксис популярного языка программирования C
tcsh - версия оболочки C с интерактивным редактированием командной строки.
В системе может быть установлено несколько различных оболочек, и для каждого пользователя возможно использование своей, запускаемой по умолчанию, оболочки. Все это, естественно, выполняется автоматически в процессе загрузки и регистрации пользователя.
В процессе загрузки операционных систем семейства Linux, после загрузки ядра системы выполняется переход в интерактивный режим – режим взаимодействия пользователя и операционной системы. В ОС Linux, первым запускаемым в ходе загрузки процессом, является программа инициализации init , которая считывает содержимое конфигурационного файла /etc/inittab , определяет перечень и характеристики терминалов, имеющихся в системе, и вызывает программу интерактивного входа getty , отображающую приглашение для ввода имени пользователя. После ввода имени пользователя и пароля, программа getty вызывает программу login , которая проверяет достоверность учетной записи, выполняет переход в домашний каталог пользователя и передает управление программе начального запуска сеанса, в качестве которой обычно используется программа оболочки пользователя, конкретная разновидность которой определяется содержимым файла /etc/passwd для данной учетной записи. Например:
user1:x:508:511::/home/user1:/bin/sh
interbase:x:510:511::/home/interbase:/bin/csh
apb:x:511:513:apb:/home/apb:/bin/bash
Как видно из содержимого файла /etc/passwd , для пользователя user1 будет запущена оболочка sh (оболочка Bourne), для пользователя interbase - оболочка csh (оболочка C) и для пользователя apb - оболочка bash (Bourne Again). После старта оболочки, на экран выводится приглашение к вводу команд (обычно в виде знака доллара $ , если работа выполняется в контексте учетной записи обычного пользователя, или фунта # , если оболочка используется под учетной записью привилегированного пользователя (root ).
При выходе из оболочки, ядро системы возвращает управление программе init , которая перезапускает процесс входа в систему и на терминале отображается приглашение к вводу имени пользователя. Выход из оболочки может быть выполнен одним из двух способов:
Посредством команды exit выполненной пользователем
При получении процессом оболочки сигнала kill , отправленного ядром, например при перезагрузке системы.
Интерпретация командной строки.
Пользовательский ввод в ответ на приглашение оболочки обычно называют командной строкой или командой . Команда Linux - это строка символов из имени команды и аргументов, разделенных пробелами. Аргументы предоставляют команде дополнительные параметры, определяющие ее поведение. Наиболее часто в качестве аргументов используются опции и имена файлов и каталогов. Например, командная строка
ls -l file01 file02
Содержит команду ls , опцию -l и два имени файлов file01 file02 .
При использовании нескольких опций, их можно объединять. Например, варианты следующих команд идентичны:
Ls -l -d
ls -ld
Команды, являющиеся частью оболочки, называются встроенными . К таким командам относятся, например, cd, if, case и т. п. Естественно, встроенные команды могут отличаться для различных вариантов оболочек. Кроме встроенных команд, возможно использование программных модулей, представляющих собой отдельные исполняемые файлы, или файлов скриптов или сценариев - обычных текстовых файлов, содержащих последовательно выполняемые строки с командами оболочки. Некоторые скрипты (сценарии) могут выполняться процессами Linux, как например, планировщиком задач cron . Планировщик задач, как правило, предназначен для автоматического выполнения задач администрирования системы по расписанию. Задачи cron представляют собой команды или скрипты и выполняются автоматически, без какого либо вмешательства человека и могут выполняться в контексте разных учетных записей пользователей. В случае, когда задача планировщика предполагает выполнение какого-либо скрипта, возникает проблема выбора оболочки, которая должна быть запущена в качестве дочернего процесса cron для обработки команд из файла скрипта - ведь оболочка может быть любой, а синтаксис скрипта, как правило, предполагает использование конкретной оболочки, под которую он написан. Для устранения данной проблемы, в ОС семейства Linux принято в первой строке скрипта указывать разновидность оболочки, необходимой для его выполнения, в виде:
#!/bin/bash - для оболочки bash
#!/bin/sh - для оболочки sh
Знак # является признаком комментария и следующие за ним символы не интерпретируются в качестве команды. Такой прием позволяет явно указать, какая оболочка должна быть использована для обработки последующего содержимого файла. Если же скрипт не содержит запись, явно определяющую требуемую оболочку, то будут использованы настройки из учетной записи, в контексте которой выполняется данный скрипт. В этом случае, возможна ситуация, когда скрипт, написанный для оболочки, например, tch будет передан для выполнения в оболочку bash , что приведет к невозможности его выполнения.
При выполнении команд или сценариев используются переменные окружения (на английском языке - environment , значения которых характеризуют программную среду, в которой происходит выполнение команд. Такие переменные могут содержать общие настройки системы, параметры графической или командной оболочки, пути исполняемых файлов и т.п. Значения переменных окружения устанавливаются на уровне системы (для всех пользователей) и на уровне конкретного пользователя. Для установки переменных окружения на уровне системы используется содержимое файлов:
/etc/profile - устанавливает переменные только для командных оболочек. Может запускать любые скрипты в оболочках, совместимых с Bourne shell.
/etc/bash.bashrc - устанавливает переменные только для интерактивных оболочек. Он также запускает bash-скрипты.
/etc/environment - используется модулем PAM-env. В этом файле можно указывать только пары имя=значение .
Каждый из этих файлов имеет свои особенности применения, поэтому следует внимательно выбирать тот, который подходит для ваших целей. Например, если нужно добавить пользовательский каталог ~/bin в переменную PATH для всех пользователей, поместите следующий код в один из системных файлов инициализации окружения (/etc/profile или /etc/bash.bashrc):
# Если идентификатор ID пользователя более или равно 1000, и существует каталог ~/bin, и он
#не был ранее добавлен в переменную PATH,
# выполнить экспорт ~/bin в переменную $PATH.
If [[ $UID -ge 1000 && -d $HOME/bin && -z $(echo $PATH | grep -o $HOME/bin)
Export PATH=$HOME/bin:${PATH}
Как правило, в операционных системах Linux, идентификатор пользователя менее 1000 или менее 500 используется для служебных учетных записей. В данном примере, переменная окружения будет установлена для всех локальных пользователей системы с идентификатором 1000 или более.
Если же нужно изменить среду окружения для конкретного пользователя, используется модификация содержимого среды окружения пользователя:
- ~/.bash_profile , ~/.bash_login и т.п. - файлы инициализации командной оболочки из домашнего каталога пользователя.
- ~/.profile - файл инициализации профиля пользователя. Используется многими оболочками для определения переменных среды.
~/.pam_environment - пользовательский аналог файла /etc/environment, который используется модулем PAM-env.
Например, чтобы добавить каталог пользователя ~/bin в пути поиска исполняемых файлов, заданных переменной PATH , можно например, в файл ~/.profile поместить строку:
export PATH="${PATH}:/home/пользователь/bin"
Чтобы установить переменные окружения для графических приложений, используется содержимое файлов настройки графической среды пользователей ~/.xinitrc
Гораздо чаще значения переменных окружения задаются для текущего сеанса пользователя. Например, для добавления пользовательского каталога ~/bin в пути поиска исполняемых файлов:
export PATH=~/bin:$PATH
Новое значение переменной PATH будет действовать только до завершения текущего сеанса пользователя.
Для просмотра значения переменной можно использовать команду echo $переменная , например:
echo $PATH
В настоящее время, самой распространенной оболочкой, как уже упоминалось выше, является bash . Вызвано это, в первую очередь тем, что оболочка bash является sh - совместимой командной оболочкой, в которую добавлены полезные возможности из оболочек Korn shell (ksh ) и C shell (csh ). Оболочка bash может без какой-либо модификации выполнять большинство скриптов, написанных под язык программирования оболочки sh и в максимальной степени пытается приблизиться к стандарту POSIX , что привело к появлению множества улучшений, причем как для программирования, так и использования в интерактивном режиме. В современной реализации bash имеется режим редактирования командной строки, неограниченный размер истории команд, средства управление заданиями, возможность использования псевдонимов, обширный перечень встроенных команд, функции командной оболочки и т.п. В целом, bash в наибольшей степени соответствует потребностям среднестатистического пользователя, что и сделало ее наиболее используемой в среде Linux.
При запуске bash без параметров командной строки, оболочка запускается в интерактивном режиме, отображая на экране приглашение к вводу команд. Интерактивная оболочка обычно читает данные из терминала пользователя и пишет данные в этот же терминал, стандартным устройством ввода является клавиатура, а стандартным устройством вывода – дисплей. Пользователь вводит команды на клавиатуре, а результат их выполнения отображается на дисплее.
- Tutorial
Зачем и для кого статья?
Изначально это была памятка для студентов, которые начинают работать с unix-подобными системами. Иными словами, статья рассчитана на тех, кто не имеет предыдущего опыта работы в unix-овой командной строке, но по тем или иным причинам хочет или должен научиться эффективно с нею взаимодействовать.Здесь не будет пересказа манов (документации), и статья никак не отменяет и не заменяет их чтение. Вместо этого я расскажу о главных вещах (командах, приемах и принципах), которые надо осознать с самого начала работы в unix shell-е, чтобы работа происходила эффективно и приятно.
Статья касается полноценных unix-подобных окружений, с полнофункциональным шеллом (предпочтительно zsh или bash)и достаточно широким набором стандартных программ.
Что такое шелл
Shell (шелл, он же «командная строка», он же CLI, он же «консоль», он же «терминал», он же «черное окошко с белыми буковками») -- это текстовый интерфейс общения с операционной системой (ну, строго говря, это программа , которая таковой интерфейс обеспечивает, но сейчас это различие несущественно).В целом работа через шелл выглядит так: пользователь (т.е. вы) с клавиатуры вводит команду, нажимает Enter, система выполняет команду, пишет на экран результат выполнения, и снова ожидает ввода следующей команды.
Типичный вид шелла:
Шелл - это основной способ для взаимодействия со всеми Unix-подобными серверными системами.
Где встречаются системы с командной строкой?
Где вас может поджидать unix-овый шелл, популярные варианты:- MacOS (bash);
- удаленный доступ на сервер по работе или для личного веб-проекта;
- домашний файл-сервер с удаленным доступом;
- Ubuntu, PC-BSD на ноутбуке/десктопе - unix-подобные системы сегодня просты в установке и использовании.
Какие задачи разумно решать шеллом?
Естественные задачи, для которых шелл пригоден, полезен и незаменим:- интерактивная работа в терминале:
- выполнение компиляции, запуск заданий через make;
- сравнение текстовых файлов;
- быстрый ad-hoc анализ данных (количество уникальных ip в логе, распределение записей по часам/минутам и т.п.);
- разовые массовые действия (прибить много процессов; если работаете с системой контроля версий - ревертнуть или зарезолвить кучу файлов);
- диагностика происходящего в системе (семафоры, локи, процессы, дескрипторы, место на диске и т.п.);
- скриптование:
- установочные скрипты, для выполнения которых нельзя рассчитывать на наличие других интерпретаторов - это не для новичков;
- функции для кастомизации интерактивного шелла (влияющие на приглашение, меняющие каталог, устанавливающие переменные окружения) - тоже не совсем для новичков;
- одноразовые скрипты типа массового перекодирования файлов;
- makefile-ы.
Абсолютно первые шаги
Начинаем работу: войти и выйти
Убедитесь, что точно знаете, как запустить шелл и как из него выйти.Если вы работаете за машиной, на которой установлена Ubuntu, вам надо запустить программу Terminal. По окончании работы можно просто закрыть окно.
На MacOS - тоже запустить Terminal.
Для доступа к удаленному серверу - воспользоваться ssh (если локально у вас MacOS, Ubuntu или другая unix-like система) или putty (если у вас Windows).
Кто я, где я?
Выполните следующие команды:- hostname - выводит имя машины (сервера), на которой вы сейчас находитесь;
- whoami - выводит ваш логин (ваше имя в системе);
- tree -d / |less - псевдографическое изображение дерева каталогов на машине; выход из пролистывания - q ;
- pwd - выводит каталог, в котором вы сейчас находитесь; в командной строке вы не можете быть «просто так», вы обязательно находитесь в каком-то каталоге (=текущий каталог, рабочий каталог). Вероятно, текущий рабочий каталог выводится у вас в приглашении (prompt).
- ls - список файлов в текущем каталоге; ls /home - список файлов в указанном каталоге;
История команд (history)
Важное свойство полноценной командной строки - история команд.Выполните несколько команд: hostname , ls , pwd , whoami . Теперь нажмите клавишу «вверх». В строке ввода появилась предыдущая команда. Клавишами «вверх» и «вниз» можно перемещаться вперед и назад по истории. Когда долистаете до hostname , нажмите Enter - команда выполнится еще раз.
Команды из истории можно не просто выполнять повторно, а еще и редактировать. Долистайте историю до команды ls , добавьте к ней ключ -l (получилось ls -l , перед минусом пробел есть, а после - нет). Нажмите Enter - выполнится модифицированная команда.
Пролистывание истории, редактирование и повторное выполнение команд - самые типичные действия при работе в командной строке, привыкайте.
Copy-paste
Командная строка очень текстоцентрична: команды - это текст, входные данные для большинства стандартных программ - текст, результат работы - чаще всего тоже текст.Прекрасной особенностью текста является то, что его можно копировать и вставлять, это верно и для командной строки.
Попробуйте выполнить команду date +"%y-%m-%d, %A"
Вводили ли вы ее целиком руками или скопировали из статьи? Убедитесь, что вы можете ее скопировать, вставить в терминал и выполнить.
После того, как научитесь пользоваться man "ом, убедитесь, что можете скопировать и выполнить примеры команд из справки. Для проверки найдите в справке по программе date раздел EXAMPLES , скопируйте и выполните первый приведенный пример (на всякий случай: знак доллара не является частью команды, это условное изображение приглашения к вводу).
Как именно копировать текст из терминала и вставлять его в терминал - зависит от вашей системы и от ее настроек, поэтому дать универсальную инструкцию, к сожалению, не получится. На Ubuntu попробуйте так: копирование - просто выделение мышью, вставка - средняя кнопка мыши. Если не работает, или если у вас другая система - поищите в Интернете или спросите более опытных знакомых.
Ключи и опции
При исследовании истории команд вы уже столкнулись с тем, что у команды ls есть по крайней мере два варианта. Если вызвать ее просто так, она выводит простой список:Akira@latitude-e7240:
~/shell-survival-quide> ls
Makefile shell-first-steps.md shell-first-steps.pdf
shell-survival-quide.md shell-survival-quide.pdf
Если же добавить ключ -l , к каждому файлу выводится подробная информация:
Akira@latitude-e7240:
~/shell-survival-quide> ls -l
total 332
-rw-rw-r-- 1 akira akira 198 Feb 13 11:48 Makefile
-rw-rw-r-- 1 akira akira 15107 Feb 14 22:26 shell-first-steps.md
-rw-rw-r-- 1 akira akira 146226 Feb 13 11:49 shell-first-steps.pdf
-rw-rw-r-- 1 akira akira 16626 Feb 13 11:45 shell-survival-quide.md
-rw-rw-r-- 1 akira akira 146203 Feb 13 11:35 shell-survival-quide.pdf
Это очень типичная ситуация: если к вызову команды добавлять специальные модификаторы (ключи, опции, параметры), поведение команды меняется. Сравните: tree / и tree -d / , hostname и hostname -f .
Кроме того, команды могут принимать в качестве параметров имена файлов, каталогов или просто текстовые строки. Попробуйте:
Ls -ld /home ls -l /home grep root /etc/passwd
man
man - справка по командам и программам, доступным на вашей машине, а также по системным вызовам и стандартной библиотеке C.Попробуйте: man grep , man atoi , man chdir , man man .
Пролистывание вперед и назад делается кнопками «вверх», «вниз», «PageUp», «PageDown», выход из просмотра справки - кнопкой q . Поиск определенного текста в справочной статье: нажимите / (прямой слеш), введите текст для поиска, нажимите Enter. Перемещение к следующим вхождениям - клавиша n .
Все справочные статьи делятся на категории. Самые важные:
- 1 - исполняемые программы и шелльные команды (wc , ls , pwd и т.п.);
- 2 - системные вызовы (fork , dup2 и т.п.)
- 3 - библиотечные функции (printf , scanf , cos , exec).
Посмотреть список всех доступных на машине справочных статей можно с помощью команды man -k . (точка - тоже часть комады).
less
Когда в небольшом окне терминала надо просмотреть очень длинный текст (содержимое какого-то файла, длинный man и т.п.), используют специальные программы-«пейджеры» (от слова page/страница, то есть постраничные листатели). Самый популярный листатель - less , и именно он обеспечивает вам пролистывание, когда вы читаете man-ы.Попробуйте и сравните поведение:
Cat /etc/bash.bashrc cat /etc/bash.bashrc |less
Можно передать файл в пролистыватель сразу в параметрах:
Less /etc/bash.bashrc
Пролистывание вверхи и вниз - кнопки «вверх», «вниз», «PageUp», «PageDown», выход - кнопка q . Поиск определенного текста: нажимите / (прямой слеш), введите текст для поиска, нажимите Enter. Перемещение к следующим вхождениям - клавиша n . (Узнаете инструкцию про man ? Ничего удивительного, для вывода справки тоже используется less .)
Права
С любым файлом или каталогом связан набор «прав»: право на чтение файла, право на запись в файл, право исполнять файл. Все пользователи делятся на три категории: владелец файла, группа владельца файла, все прочие пользователи.Посмотреть права на файл можно с помощью ls -l . Например:
> ls -l Makefile
-rw-r--r-- 1 akira students 198 Feb 13 11:48 Makefile
Этот вывод означает, что владельцу (akira) можно читать и писать файл, группе (students) - только читать, всем прочим пользователя - тоже только читать.
Если при работе вы получаете сообщение permission denied , это значит, что у вас недостаточно правна объект, с которым вы хотели работать.
Подробнее читайте в man chmod .
STDIN, STDOUT, конвейеры (пайпы)
С каждой исполняющейся программой связаны 3 стандартных потока данных: поток входных данных STDIN , поток выходных данных STDOUT , поток для вывода ошибок STDERR .Запустите программу wc , введите текст Good day today , нажмите Enter, введтие текст good day , нажмите Enter, нажмите Ctrl+d. Программа wc покажет статистику по количеству букв, слов и строк в вашем тексте и завершится:
> wc
good day today
good day
2 5 24
В данном случае вы подали в STDIN программы двухстрочный текст, а в STDOUT получили три числа.
Теперь запустите команду head -n3 /etc/passwd , должно получиться примерно так:
> head -n3 /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
В этом случае программа head ничего не читала из STDIN , а в STDOUT написала три строки.
Можно представить себе так: программа - это труба, в которую втекает STDIN , а вытекает STDOUT .
Важнейшее свойство юниксовой командной строки состоит в том, что программы-«трубы» можно соединять между собой: выход (STDOUT) одной программы передавать в качестве входных данных (STDIN) другой программе.
Такая конструкция из соединенных программ называется по-английски pipe (труба), по-русски - конвейер или пайп.
Объединение программ в конвейер делается символом | (вертикальная черта)
Выполните команду head -n3 /etc/passwd |wc , получится примерно следующее:
> head -n3 /etc/passwd |wc
3 3 117
Произошло вот что: программа head выдала в STDOUT три строки текста, которые сразу же попали на вход программе wc , которая в свою очередь подсчитала количество символов, слов и строк в полученном тексте.
В конвейер можно объединять сколько угодно программ. Например, можно добавить к предыдущему конвейеру еще одну программу wc , которая подсчитает, сколько слов и букв было в выводе первой wc:
> head -n3 /etc/passwd |wc |wc 1 3 24
Составление конвейеров (пайпов) - очень частое дело при работе в командной строке. Пример того, как это делается на практике, читайте в разделе «Составление конвейера-однострочника».
Перенаправление ввода-вывода
Вывод (STDOUT) програмы можно не только передать другой программе по конвейеру, но и просто записать в файл. Такое перенаправление делается с помощью > (знак «больше»):Date > /tmp/today.txt
В результате выполнения этой команды на диске появится файл /tmp/today.txt . Посмотрите его содержимое с помощью cat /tmp/today.txt
Если файл с таким именем уже существовал, его старое содержимое будет уничтожено. Если файл не существовал, он будет создан. Каталог, в котором создается файл, должен существовать до выполнения команды.
Если надо не перезаписать файл, а добавить вывод в его конец, используйте >> :
Date >> /tmp/today.txt
Проверьте, что теперь записано в файле.
Кроме того, программе можно вместо STDIN передать любой файл. Попробуйте:
Wc
Что делать, когда что-то непонятно
Если вы сталкиваетесь с поведением системы, которое не понимаете, или хотите добиться определенного результата, но не знаете, как именно, советую действовать в следующем порядке (кстати, это относится не только к шеллам):- насколько возможно четко сформулируйте вопрос или задачу - нет ничего сложнее, чем решать «то, не знаю что»;
- вспомните, сталкивались ли вы уже с такой же или подобной проблемой - в этом случае стоит попробовать решение, которое сработало в прошлый раз;
- почитайте подходящие man-ы (если понимаете, какие man-ы подходят в вашем случае) - возможно, вы найдете подходящие примеры использования команд, нужные опции или ссылки на другие команды;
- подумайте: нельзя ли немного поменять задачу? - возможно, чуть-чуть изменив условия, вы получите задачу, которую уже умеете решать;
- задайте свой четко сформулированный вопрос в поисковой системе - возможно, ответ найдется на Stack Overflow или других сайтах;
Если вы разобрались со сложной проблемой (самостоятельно, с помощью Интернета или других людей) -- запишите свое решение на случай, если такая же проблема снова возникнет у вас или ваших товарищей. Записывать можно в простой текстовый файл, в Evernote, публиковать в соц.сетях.
Методы работы
Скопировать-и-вставить - из man-ов, из статей на StackOverflow и т.п.Командная строка состоит из текста, пользуйтесь этим: копируйте и используйте примеры команд,записывайте удачные находки на память, публикуйте их в твиттерах и блогах.Вытащить из истории предыдущую команду, добавить в конвейер еще одну команду, запустить, повторить .См. также раздел «Составление конвейера-однострочника».
Базовые команды
- переход в другой каталог: cd ;
- просмотр содержимого файлов: саt , less , head , tail ;
- манипуляции с файлами: cp , mv , rm ;
- просмотр содержимого каталогов: ls , ls -l , ls -lS ;
- структура каталогов: tree , tree -d (можно передать в качестве параметра каталог);
- поиск файлов: find . -name ... ;
Аналитика
- wc , wc -l ;
- sort -k - сортировка по указанному полю;
- sort -n - числовая соритровка;
- diff - сравнение файлов;
- grep , grep -v , grep -w , grep "\
- uniq , uniq -c - уникализация строк;
- awk - в варианте awk "{print $1}" , чтобы оставить только первое поле из каждой строки, $1 можно менять на $2 , $3 и т.д.;
Диагностика системы
- ps axuww - информация о процессах (запущенных программах), работающих на машине;
- top - интерактивный просмотр самых ресурсоемких процессов;
- df - занятое и свободное место на диске;
- du - суммарный размер файлов в каталоге (рекурсивно с подкаталогами);
- strace , ktrace - какие системные вызовы выполняет процесс;
- lsof - какие файлы использует процесс;
- netstat -na , netstat -nap - какие порты и сокеты открыты в системе.
Некоторых программ у вас может не быть, их надо установить дополнительно. Кроме того, некоторые опции этих программ доступны только привилегированным пользователям (root "у).
Массовое и полуавтоматическое выполнение
На первых порах пропускайте этот раздел, эти команды и конструкции понадобятся вам тогда, когда доберетесь до несложного шелльного скриптинга.- test - проврека условий;
- while read - цикл по строчкам STDIN ;
- xargs - подстановка строк из STDIN в параметры указанной программе;
- seq - генерация последовательностей натуральных чисел;
- () - объединить вывод нескольких команд;
- ; - выполнить одно за другим;
- && - выполнить при условии успешного завершения первой команды;
- || - выполнить при условии неудачного завершения первой команды;
- tee - продублировать вывод программы в STDOUT и в файл на диске.
Разное
- date - текущая дата;
- curl - скачивает документ по указаному url и пишет результат на STDOUT ;
- touch - обновить дату модификации файла;
- kill - послать процессу сигнал;
- true - ничего не делает, возвращает истину, полезна для организации вечных циклов;
- sudo - выполнить команду от имени root "а.
Составление конвейера-однострочника
Давайте рассмотрим пример реальной задачи: требуется прибить все процессы task-6-server , запущенные от имени текущего пользователя.Шаг 1.
Понять, какая программа выдает примерно нужные данные, хотя бы и не в чистом виде. Для нашей задачи стоит получить список всех процессов в системе:
ps axuww . Запустить.
Шаг 2.
Посмотреть на полученные данные глазами, придумать фильтр, который выкинет часть ненужных данных. Часто это grep или grep -v . Клавишей «Вверх» вытащить из истории предыдущую команду, приписать к ней придуманный фильтр, запустить.
Ps axuww |grep `whoami`
- только процессы текущего пользователя.
Шаг 3.
Повторять пункт 2, пока не получатся чистые нужные данные.
- все процессы с нужным именем (плюс, может быть, лишние вроде vim task-6-server.c и т.п.),
Ps axuww |grep `whoami` | grep "\
- только процессы с нужным именем
Ps axuww |grep `whoami` | grep "\
Pid-ы нужных процессов, п. 3 выполнен
Шаг 4.
Применить подходящий финальный обработчик. Клавишей «Вверх» вытаскиваем из истории предыдущую команду и добавляем обработку, которая завершит решение задачи:
- |wc -l чтобы посчитать количество процессов;
- >pids чтобы записать pid-ы в файл;
- |xargs kill -9 убить процессы.
Задания для тренировки
Хотите попрактиковаться в новых умениях? Попробуйте выполнить следующие задания:- получите список всех файлов и каталогов в вашем домашнем каталоге;
- получите список всех man -статей из категории 2 (системные вызовы);
- посчитайте, сколько раз в man-е по программе grep встречается слово grep;
- посчитайте, сколько процессов запущено в данный момент от имени пользователя root ;
- найдите, какая команда встречается в максимальном количестве категорий справки (man);
- подсчитайте, сколько раз встречается слово var на странице ya.ru .
Что изучать дальше?
Если командная строка начинает вам нравиться, не останавливайтесь, продолжайте совершенствовать свои навыки.Вот некоторые программы, которые определенно вам пригодятся, если вы будете жить в командной строке:
- find со сложными опциями
- apropos
- locate
- telnet
- netcat
- tcpdump
- rsync
- screen
- zgrep , zless
- visudo
- crontab -e
- sendmail
Кому это надо?
А стоит ли вообще изучать сегодня командную строку и шелльный скриптинг? Определенно стоит. Приведу только несколько примеров из требований Facebook к кандидатам, которые хотят поступить на работу в FB.Любой универсальной ОС приходится много возиться с пользовательскими и своими собственными задачами. Лишь небольшая часть этой деятельности может быть запрограммирована раз и навсегда в ядре. Большая часть логики управления задачами и самой системой должна быть доступна администратору в виде проекта, иначе он просто не сможет ни понять происходящее в системе, ни тем более изменять ее. Стоит повнимательнее взглянуть на инструмент, используемый в UNIX для задания алгоритма работы многих частей системы, - на командный интерпретатор , shell . Оказывается, shell отлично себя показывает не только в диалоге с пользователем, но и как исполнитель сценариев , и как средство организации взаимодействия между задачами в системе.
Начнем с того, что shell - полноценный язык программирования , причем, как многие интерпретаторы, довольно высокого уровня. Если задача - разовая (нет требований по быстродействию, совместимости и переносимости) и достаточно абстрактная (нет привязки к конкретной сложной структуре данных), ее скорее всего можно решить, написав командный сценарий - программу на shell .
С другой стороны, одной алгоритмической полнотой при решении задач в системе ограничиваться нельзя. Скажем, машина Тьюринга [ 9 ] чрезвычайно проста и алгоритмически полна, однако мало кому придет в голову организовывать на основе ее модели диалог с пользователем или управление самой ОС. Здесь следует вспомнить, что shell - еще и исполнитель команд: он запросто общается с UNIX и утилитами. Значит, дополнив его механизмом управляемого взаимодействия команд с системой и друг с другом, мы получим неплохой интегратор (или оболочку - что, собственно, и есть перевод слова shell ).
Самое приятное, что такая программируемая оболочка не будет слишком выходить за рамки У: если уж, в наследство от диалоговой ипостаси shell , мы можем легко обращаться за решением подзадачи к любой утилите UNIX , дублировать ее в языке совершенно незачем, и там останутся как раз одни только алгоритмические и координационные абстракции.
Сценарий
Прежде чем рассмотреть возможности shell под двумя углами зрения, разрешим вот какое затруднение. Допустим, мы написали программу на языке какого-нибудь интерпретатора, например /bin/sh , и записали ее в некий файл , например /home/george/myscript (если /home/george - текущий каталог , можно использовать более короткий путь : myscript ). Как теперь выполнить этот сценарий ? Из man sh мы знаем, что для этого можно запустить командный интерпретатор с параметром - именем файла:
$ cat myscript echo "Hello, George!" $ /bin/sh myscript Hello, George!
Нельзя ли обойтись без имени программы, которая интерпретирует сценарий ? Вообще говоря, нет: в UNIX немало различных интерпретаторов с разнообразным синтаксисом, например обработчик текстов awk , потоковый текстовый редактор sed , универсальные языки программирования python и perl и много чего еще. Во всех этих языках есть возможность вставлять в текст сценария строчные комментарии, которые начинаются с символа "#" и заканчиваются в конце строки. Поэтому, если сценарий начинается с символов " # !", любой из этих интерпретаторов проигнорирует всю первую строку как комментарий. Система же, увидев " # !" в начале файла, понимает, что это сценарий . С третьего символа и до конца строки она читает имя программы , которой отдает этот файл на выполнение. Значит, если первой строкой в /home/george/myscript будет #!/bin/sh , его смело можно делать исполняемым (установить бит использования) и запускать:
$ chmod +x myscript $ cat myscript #!/bin/sh echo "Hello, $1!" $ ./myscript George Hello, George!
Строго говоря, после " # !" может стоять что угодно, например имя написанной нами программы с некоторыми обязательными параметрами; UNIX ее запустит и передаст ей в качестве параметров командной строки обязательные параметры (если они есть), затем имя сценария и все, что идет следом (в нашем примере George ). Если же после " # !" будет стоять несуществующий файл , система выдаст сообщение об ошибке :
$ cat myscript #!/bad/sh echo "Hello, $1!" $ ./myscript ./myscript: not found
Обратите, пожалуйста, внимание на то, что из этого сообщения якобы следует, что не найден сам файл сценария . Если не знать подоплеку явления, ситуация кажется подозрительной. Дело в том, что, запуская любую программу, UNIX всегда передает ей один параметр (который имеет индекс 0) - имя этой программы. Но в случае запуска сценария обработчик получит в качестве нулевого параметра не собственное имя, а имя сценария . А когда система этого обработчика не найдет, в сообщении об ошибке он будет упоминаться под новым именем.
Гнезда shell`ов
И еще одно немаловажное замечание. Сначала в UNIX был только один командный интерпретатор , написанный Стивеном Борном (Stephen Bourne), и назывался он просто "оболочка" (т. е. shell , а имя утилиты, для краткости, sh). Это была очень простая маленькая программа , она отлично работала именно как системный интегратор , но во всех остальных ипостасях была довольно слабой. И вот создателям 3BSD пришло в голову, что нужен совершенно новый командный интерпретатор , более удобный при работе в командной строке, с новыми возможностями программирования и с новым синтаксисом, приближенным к языку Си , который и так знаком любому UNIX -программисту. Получившуюся оболочку назвали C shell (за синтаксис команд; имя утилиты - csh ), она была намного мощнее старой, там была работа с историей, достраивание имен файлов, управление заданиями ; появились массивы и много чего еще.
- Tutorial
Зачем и для кого статья?
Изначально это была памятка для студентов, которые начинают работать с unix-подобными системами. Иными словами, статья рассчитана на тех, кто не имеет предыдущего опыта работы в unix-овой командной строке, но по тем или иным причинам хочет или должен научиться эффективно с нею взаимодействовать.Здесь не будет пересказа манов (документации), и статья никак не отменяет и не заменяет их чтение. Вместо этого я расскажу о главных вещах (командах, приемах и принципах), которые надо осознать с самого начала работы в unix shell-е, чтобы работа происходила эффективно и приятно.
Статья касается полноценных unix-подобных окружений, с полнофункциональным шеллом (предпочтительно zsh или bash)и достаточно широким набором стандартных программ.
Что такое шелл
Shell (шелл, он же «командная строка», он же CLI, он же «консоль», он же «терминал», он же «черное окошко с белыми буковками») -- это текстовый интерфейс общения с операционной системой (ну, строго говря, это программа , которая таковой интерфейс обеспечивает, но сейчас это различие несущественно).В целом работа через шелл выглядит так: пользователь (т.е. вы) с клавиатуры вводит команду, нажимает Enter, система выполняет команду, пишет на экран результат выполнения, и снова ожидает ввода следующей команды.
Типичный вид шелла:
Шелл - это основной способ для взаимодействия со всеми Unix-подобными серверными системами.
Где встречаются системы с командной строкой?
Где вас может поджидать unix-овый шелл, популярные варианты:- MacOS (bash);
- удаленный доступ на сервер по работе или для личного веб-проекта;
- домашний файл-сервер с удаленным доступом;
- Ubuntu, PC-BSD на ноутбуке/десктопе - unix-подобные системы сегодня просты в установке и использовании.
Какие задачи разумно решать шеллом?
Естественные задачи, для которых шелл пригоден, полезен и незаменим:- интерактивная работа в терминале:
- выполнение компиляции, запуск заданий через make;
- сравнение текстовых файлов;
- быстрый ad-hoc анализ данных (количество уникальных ip в логе, распределение записей по часам/минутам и т.п.);
- разовые массовые действия (прибить много процессов; если работаете с системой контроля версий - ревертнуть или зарезолвить кучу файлов);
- диагностика происходящего в системе (семафоры, локи, процессы, дескрипторы, место на диске и т.п.);
- скриптование:
- установочные скрипты, для выполнения которых нельзя рассчитывать на наличие других интерпретаторов - это не для новичков;
- функции для кастомизации интерактивного шелла (влияющие на приглашение, меняющие каталог, устанавливающие переменные окружения) - тоже не совсем для новичков;
- одноразовые скрипты типа массового перекодирования файлов;
- makefile-ы.
Абсолютно первые шаги
Начинаем работу: войти и выйти
Убедитесь, что точно знаете, как запустить шелл и как из него выйти.Если вы работаете за машиной, на которой установлена Ubuntu, вам надо запустить программу Terminal. По окончании работы можно просто закрыть окно.
На MacOS - тоже запустить Terminal.
Для доступа к удаленному серверу - воспользоваться ssh (если локально у вас MacOS, Ubuntu или другая unix-like система) или putty (если у вас Windows).
Кто я, где я?
Выполните следующие команды:- hostname - выводит имя машины (сервера), на которой вы сейчас находитесь;
- whoami - выводит ваш логин (ваше имя в системе);
- tree -d / |less - псевдографическое изображение дерева каталогов на машине; выход из пролистывания - q ;
- pwd - выводит каталог, в котором вы сейчас находитесь; в командной строке вы не можете быть «просто так», вы обязательно находитесь в каком-то каталоге (=текущий каталог, рабочий каталог). Вероятно, текущий рабочий каталог выводится у вас в приглашении (prompt).
- ls - список файлов в текущем каталоге; ls /home - список файлов в указанном каталоге;
История команд (history)
Важное свойство полноценной командной строки - история команд.Выполните несколько команд: hostname , ls , pwd , whoami . Теперь нажмите клавишу «вверх». В строке ввода появилась предыдущая команда. Клавишами «вверх» и «вниз» можно перемещаться вперед и назад по истории. Когда долистаете до hostname , нажмите Enter - команда выполнится еще раз.
Команды из истории можно не просто выполнять повторно, а еще и редактировать. Долистайте историю до команды ls , добавьте к ней ключ -l (получилось ls -l , перед минусом пробел есть, а после - нет). Нажмите Enter - выполнится модифицированная команда.
Пролистывание истории, редактирование и повторное выполнение команд - самые типичные действия при работе в командной строке, привыкайте.
Copy-paste
Командная строка очень текстоцентрична: команды - это текст, входные данные для большинства стандартных программ - текст, результат работы - чаще всего тоже текст.Прекрасной особенностью текста является то, что его можно копировать и вставлять, это верно и для командной строки.
Попробуйте выполнить команду date +"%y-%m-%d, %A"
Вводили ли вы ее целиком руками или скопировали из статьи? Убедитесь, что вы можете ее скопировать, вставить в терминал и выполнить.
После того, как научитесь пользоваться man "ом, убедитесь, что можете скопировать и выполнить примеры команд из справки. Для проверки найдите в справке по программе date раздел EXAMPLES , скопируйте и выполните первый приведенный пример (на всякий случай: знак доллара не является частью команды, это условное изображение приглашения к вводу).
Как именно копировать текст из терминала и вставлять его в терминал - зависит от вашей системы и от ее настроек, поэтому дать универсальную инструкцию, к сожалению, не получится. На Ubuntu попробуйте так: копирование - просто выделение мышью, вставка - средняя кнопка мыши. Если не работает, или если у вас другая система - поищите в Интернете или спросите более опытных знакомых.
Ключи и опции
При исследовании истории команд вы уже столкнулись с тем, что у команды ls есть по крайней мере два варианта. Если вызвать ее просто так, она выводит простой список:Akira@latitude-e7240:
~/shell-survival-quide> ls
Makefile shell-first-steps.md shell-first-steps.pdf
shell-survival-quide.md shell-survival-quide.pdf
Если же добавить ключ -l , к каждому файлу выводится подробная информация:
Akira@latitude-e7240:
~/shell-survival-quide> ls -l
total 332
-rw-rw-r-- 1 akira akira 198 Feb 13 11:48 Makefile
-rw-rw-r-- 1 akira akira 15107 Feb 14 22:26 shell-first-steps.md
-rw-rw-r-- 1 akira akira 146226 Feb 13 11:49 shell-first-steps.pdf
-rw-rw-r-- 1 akira akira 16626 Feb 13 11:45 shell-survival-quide.md
-rw-rw-r-- 1 akira akira 146203 Feb 13 11:35 shell-survival-quide.pdf
Это очень типичная ситуация: если к вызову команды добавлять специальные модификаторы (ключи, опции, параметры), поведение команды меняется. Сравните: tree / и tree -d / , hostname и hostname -f .
Кроме того, команды могут принимать в качестве параметров имена файлов, каталогов или просто текстовые строки. Попробуйте:
Ls -ld /home ls -l /home grep root /etc/passwd
man
man - справка по командам и программам, доступным на вашей машине, а также по системным вызовам и стандартной библиотеке C.Попробуйте: man grep , man atoi , man chdir , man man .
Пролистывание вперед и назад делается кнопками «вверх», «вниз», «PageUp», «PageDown», выход из просмотра справки - кнопкой q . Поиск определенного текста в справочной статье: нажимите / (прямой слеш), введите текст для поиска, нажимите Enter. Перемещение к следующим вхождениям - клавиша n .
Все справочные статьи делятся на категории. Самые важные:
- 1 - исполняемые программы и шелльные команды (wc , ls , pwd и т.п.);
- 2 - системные вызовы (fork , dup2 и т.п.)
- 3 - библиотечные функции (printf , scanf , cos , exec).
Посмотреть список всех доступных на машине справочных статей можно с помощью команды man -k . (точка - тоже часть комады).
less
Когда в небольшом окне терминала надо просмотреть очень длинный текст (содержимое какого-то файла, длинный man и т.п.), используют специальные программы-«пейджеры» (от слова page/страница, то есть постраничные листатели). Самый популярный листатель - less , и именно он обеспечивает вам пролистывание, когда вы читаете man-ы.Попробуйте и сравните поведение:
Cat /etc/bash.bashrc cat /etc/bash.bashrc |less
Можно передать файл в пролистыватель сразу в параметрах:
Less /etc/bash.bashrc
Пролистывание вверхи и вниз - кнопки «вверх», «вниз», «PageUp», «PageDown», выход - кнопка q . Поиск определенного текста: нажимите / (прямой слеш), введите текст для поиска, нажимите Enter. Перемещение к следующим вхождениям - клавиша n . (Узнаете инструкцию про man ? Ничего удивительного, для вывода справки тоже используется less .)
Права
С любым файлом или каталогом связан набор «прав»: право на чтение файла, право на запись в файл, право исполнять файл. Все пользователи делятся на три категории: владелец файла, группа владельца файла, все прочие пользователи.Посмотреть права на файл можно с помощью ls -l . Например:
> ls -l Makefile
-rw-r--r-- 1 akira students 198 Feb 13 11:48 Makefile
Этот вывод означает, что владельцу (akira) можно читать и писать файл, группе (students) - только читать, всем прочим пользователя - тоже только читать.
Если при работе вы получаете сообщение permission denied , это значит, что у вас недостаточно правна объект, с которым вы хотели работать.
Подробнее читайте в man chmod .
STDIN, STDOUT, конвейеры (пайпы)
С каждой исполняющейся программой связаны 3 стандартных потока данных: поток входных данных STDIN , поток выходных данных STDOUT , поток для вывода ошибок STDERR .Запустите программу wc , введите текст Good day today , нажмите Enter, введтие текст good day , нажмите Enter, нажмите Ctrl+d. Программа wc покажет статистику по количеству букв, слов и строк в вашем тексте и завершится:
> wc
good day today
good day
2 5 24
В данном случае вы подали в STDIN программы двухстрочный текст, а в STDOUT получили три числа.
Теперь запустите команду head -n3 /etc/passwd , должно получиться примерно так:
> head -n3 /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
В этом случае программа head ничего не читала из STDIN , а в STDOUT написала три строки.
Можно представить себе так: программа - это труба, в которую втекает STDIN , а вытекает STDOUT .
Важнейшее свойство юниксовой командной строки состоит в том, что программы-«трубы» можно соединять между собой: выход (STDOUT) одной программы передавать в качестве входных данных (STDIN) другой программе.
Такая конструкция из соединенных программ называется по-английски pipe (труба), по-русски - конвейер или пайп.
Объединение программ в конвейер делается символом | (вертикальная черта)
Выполните команду head -n3 /etc/passwd |wc , получится примерно следующее:
> head -n3 /etc/passwd |wc
3 3 117
Произошло вот что: программа head выдала в STDOUT три строки текста, которые сразу же попали на вход программе wc , которая в свою очередь подсчитала количество символов, слов и строк в полученном тексте.
В конвейер можно объединять сколько угодно программ. Например, можно добавить к предыдущему конвейеру еще одну программу wc , которая подсчитает, сколько слов и букв было в выводе первой wc:
> head -n3 /etc/passwd |wc |wc 1 3 24
Составление конвейеров (пайпов) - очень частое дело при работе в командной строке. Пример того, как это делается на практике, читайте в разделе «Составление конвейера-однострочника».
Перенаправление ввода-вывода
Вывод (STDOUT) програмы можно не только передать другой программе по конвейеру, но и просто записать в файл. Такое перенаправление делается с помощью > (знак «больше»):Date > /tmp/today.txt
В результате выполнения этой команды на диске появится файл /tmp/today.txt . Посмотрите его содержимое с помощью cat /tmp/today.txt
Если файл с таким именем уже существовал, его старое содержимое будет уничтожено. Если файл не существовал, он будет создан. Каталог, в котором создается файл, должен существовать до выполнения команды.
Если надо не перезаписать файл, а добавить вывод в его конец, используйте >> :
Date >> /tmp/today.txt
Проверьте, что теперь записано в файле.
Кроме того, программе можно вместо STDIN передать любой файл. Попробуйте:
Wc
Что делать, когда что-то непонятно
Если вы сталкиваетесь с поведением системы, которое не понимаете, или хотите добиться определенного результата, но не знаете, как именно, советую действовать в следующем порядке (кстати, это относится не только к шеллам):- насколько возможно четко сформулируйте вопрос или задачу - нет ничего сложнее, чем решать «то, не знаю что»;
- вспомните, сталкивались ли вы уже с такой же или подобной проблемой - в этом случае стоит попробовать решение, которое сработало в прошлый раз;
- почитайте подходящие man-ы (если понимаете, какие man-ы подходят в вашем случае) - возможно, вы найдете подходящие примеры использования команд, нужные опции или ссылки на другие команды;
- подумайте: нельзя ли немного поменять задачу? - возможно, чуть-чуть изменив условия, вы получите задачу, которую уже умеете решать;
- задайте свой четко сформулированный вопрос в поисковой системе - возможно, ответ найдется на Stack Overflow или других сайтах;
Если вы разобрались со сложной проблемой (самостоятельно, с помощью Интернета или других людей) -- запишите свое решение на случай, если такая же проблема снова возникнет у вас или ваших товарищей. Записывать можно в простой текстовый файл, в Evernote, публиковать в соц.сетях.
Методы работы
Скопировать-и-вставить - из man-ов, из статей на StackOverflow и т.п.Командная строка состоит из текста, пользуйтесь этим: копируйте и используйте примеры команд,записывайте удачные находки на память, публикуйте их в твиттерах и блогах.Вытащить из истории предыдущую команду, добавить в конвейер еще одну команду, запустить, повторить .См. также раздел «Составление конвейера-однострочника».
Базовые команды
- переход в другой каталог: cd ;
- просмотр содержимого файлов: саt , less , head , tail ;
- манипуляции с файлами: cp , mv , rm ;
- просмотр содержимого каталогов: ls , ls -l , ls -lS ;
- структура каталогов: tree , tree -d (можно передать в качестве параметра каталог);
- поиск файлов: find . -name ... ;
Аналитика
- wc , wc -l ;
- sort -k - сортировка по указанному полю;
- sort -n - числовая соритровка;
- diff - сравнение файлов;
- grep , grep -v , grep -w , grep "\
- uniq , uniq -c - уникализация строк;
- awk - в варианте awk "{print $1}" , чтобы оставить только первое поле из каждой строки, $1 можно менять на $2 , $3 и т.д.;
Диагностика системы
- ps axuww - информация о процессах (запущенных программах), работающих на машине;
- top - интерактивный просмотр самых ресурсоемких процессов;
- df - занятое и свободное место на диске;
- du - суммарный размер файлов в каталоге (рекурсивно с подкаталогами);
- strace , ktrace - какие системные вызовы выполняет процесс;
- lsof - какие файлы использует процесс;
- netstat -na , netstat -nap - какие порты и сокеты открыты в системе.
Некоторых программ у вас может не быть, их надо установить дополнительно. Кроме того, некоторые опции этих программ доступны только привилегированным пользователям (root "у).
Массовое и полуавтоматическое выполнение
На первых порах пропускайте этот раздел, эти команды и конструкции понадобятся вам тогда, когда доберетесь до несложного шелльного скриптинга.- test - проврека условий;
- while read - цикл по строчкам STDIN ;
- xargs - подстановка строк из STDIN в параметры указанной программе;
- seq - генерация последовательностей натуральных чисел;
- () - объединить вывод нескольких команд;
- ; - выполнить одно за другим;
- && - выполнить при условии успешного завершения первой команды;
- || - выполнить при условии неудачного завершения первой команды;
- tee - продублировать вывод программы в STDOUT и в файл на диске.
Разное
- date - текущая дата;
- curl - скачивает документ по указаному url и пишет результат на STDOUT ;
- touch - обновить дату модификации файла;
- kill - послать процессу сигнал;
- true - ничего не делает, возвращает истину, полезна для организации вечных циклов;
- sudo - выполнить команду от имени root "а.
Составление конвейера-однострочника
Давайте рассмотрим пример реальной задачи: требуется прибить все процессы task-6-server , запущенные от имени текущего пользователя.Шаг 1.
Понять, какая программа выдает примерно нужные данные, хотя бы и не в чистом виде. Для нашей задачи стоит получить список всех процессов в системе:
ps axuww . Запустить.
Шаг 2.
Посмотреть на полученные данные глазами, придумать фильтр, который выкинет часть ненужных данных. Часто это grep или grep -v . Клавишей «Вверх» вытащить из истории предыдущую команду, приписать к ней придуманный фильтр, запустить.
Ps axuww |grep `whoami`
- только процессы текущего пользователя.
Шаг 3.
Повторять пункт 2, пока не получатся чистые нужные данные.
- все процессы с нужным именем (плюс, может быть, лишние вроде vim task-6-server.c и т.п.),
Ps axuww |grep `whoami` | grep "\
- только процессы с нужным именем
Ps axuww |grep `whoami` | grep "\
Pid-ы нужных процессов, п. 3 выполнен
Шаг 4.
Применить подходящий финальный обработчик. Клавишей «Вверх» вытаскиваем из истории предыдущую команду и добавляем обработку, которая завершит решение задачи:
- |wc -l чтобы посчитать количество процессов;
- >pids чтобы записать pid-ы в файл;
- |xargs kill -9 убить процессы.
Задания для тренировки
Хотите попрактиковаться в новых умениях? Попробуйте выполнить следующие задания:- получите список всех файлов и каталогов в вашем домашнем каталоге;
- получите список всех man -статей из категории 2 (системные вызовы);
- посчитайте, сколько раз в man-е по программе grep встречается слово grep;
- посчитайте, сколько процессов запущено в данный момент от имени пользователя root ;
- найдите, какая команда встречается в максимальном количестве категорий справки (man);
- подсчитайте, сколько раз встречается слово var на странице ya.ru .
Что изучать дальше?
Если командная строка начинает вам нравиться, не останавливайтесь, продолжайте совершенствовать свои навыки.Вот некоторые программы, которые определенно вам пригодятся, если вы будете жить в командной строке:
- find со сложными опциями
- apropos
- locate
- telnet
- netcat
- tcpdump
- rsync
- screen
- zgrep , zless
- visudo
- crontab -e
- sendmail
Кому это надо?
А стоит ли вообще изучать сегодня командную строку и шелльный скриптинг? Определенно стоит. Приведу только несколько примеров из требований Facebook к кандидатам, которые хотят поступить на работу в FB.МОСКВА 2007
Лабораторный практикум по курсу: “Операционная система Red Hat Linux ”
Лабораторная работа №5
Программирование в SHELL
Цель работы : на основе ранее полученных навыков работы с командным интерпретатором BASH овладеть начальными навыками программирования в командном интерпретаторе BASH для создания файлов сценария – SHELL скриптов.
Теоретические сведения
Выполнение отдельных команд в командном интерпретаторе не всегда является эффективным средством работы с SHELL оболочкой. Довольно часто требуется выполнять одни и те же последовательности действий при работе с операционной системой Linux каждый месяц, каждую неделю, каждый день и иногда и несколько раз в день. Например, предположим, вы работаете на фирме тестером программного обеспечения (Test Manager). Каждый день вам требуется в командной оболочке Linux выполнять один тот набор действий, а именно: монтирование устройства CD-ROM; копирование всей информации с него в папку, скажем, /opt/program на жестком диске; демонтирование CD-ROM; чтение файла readme из этой папки; установка программы с жесткого диска из папки /opt/program; создания нового файла отчета в директории /home/user/report_program удаление всего содержимого дистрибутива с жесткого диска. И это притом, что основная ваша работа заключается в тестировании программного обеспечения на предмет выявления недоработок (bags). Задача на первый взгляд простая, но выполнять подобные действия по несколько раз в день, притом, что вы занимаетесь и другими делами, неудобно. Или, например, вы работаете в фирме системным администратором и обслуживаете около 50 компьютеров. Каждый день вам требуется раскопировать на все компьютеры один и тот же файл с инструкциями на текущий день директора фирмы для всех подчиненных. Кроме того, в ваши задачи также входит в конце рабочего дня сохранить все данные каждого пользователя на общем сервере фирмы с персональных компьютеров подчиненных. Задача также на первый взгляд простая, но работа по набору команд в командном интерпретаторе для 50 компьютеров займет много времени. А если к тому же вы при наборе будите ошибаться, например, от усталости? Данные для директора и их владельца очень важны, и потерять их Вам никак нельзя. Но это еще простые действия. А представьте, что названия файлов отчетов, название папок с данными, имена компьютеров каждый раз будут меняться? Что тогда делать? Выход один – написать файл-сценария , т.е. создать текстовый файл, в котором требуется описать всю последовательность команд с путями, опциями, аргументами, выражениями, действиями и так далее для выполнения определенного сценария. Например, резервирования данных. После ввода команд в текстовый файл-сценария, данный файл делают исполняемым или выполняют его специальных операторов выполнения командного интерпретатора. Использование файлов сценария является особенно эффективным, если вам очень часто требуется выполнять последовательность из большого числа команд. Также является эффективным средством, если в зависимости от результатов выполнения предыдущих команд зависит выполнение следующих. С помощью файлов-сценариев можно также использовать арифметические и логические выражения, создавать циклы, обеспечивающие многократное выполнение группы команд Linux.
Создание файлов-сценария. Создания сценариев представляет собой последовательный набор команд, операторов командного интерпретатора и некоторых других символов в текстовом файле. Файлы-сценария также называют скриптами, а командные интерпретаторы латинским названием SHELL. В связи с тем, что на сегодняшний день существуют разные командные интерпретаторы, написание файла-сценария с использованием дополнительных символов, например, метасимволов, совместно с командами не должно противоречить правилам синтаксиса выбранного командного интерпретатора, в котором предполагается выполнять данный скрипт. Процесс написания таких файлов называют SHELL программированием. Рассмотрим процесс программирования на примере интерпретатора BASH. Таким образом, скрипты и правила написания скриптов в данной лабораторной работе могут быть не переносимы на другие интерпретаторы, например, такие как С Shell или TC Shell.
Последовательность #!. Написание любого скрипта начинается с принадлежности его к одному из командных интерпретаторов. В первой строке скрипта обычно пишут последовательность #! , которая указывает системе, какой интерпретатор должен выполнить команды из данного сценария. Если первый символ пробел, считается, что сценарий написан для BASH или PDKSH. Если сценарий начинается только с символа # , то для его выполнения необходим TC Shell. Если же за символом # следует символ!, ядро запустит интерпретатор, путь которого указан далее в этой строке. Например, для BASH будет следующая запись: #!/bin/sh . Пробела или одиночного символа # в начале сценария достаточно для интерпретаторов BASH Shell и TC Shell только при условии, что они будут считывать свой сценарий. Чтобы один интерпретатор распознал сценарии другого, необходимо включать в сценарий символы #! , после чего указывается путь интерпретирующей программы. Тогда при вызове сценария будет прекращена работа текущего интерпретатора, вместо него будет загружен сценарий другого типа, а затем выполнен сценарий. Рекомендуется всегда начинать все сценарии с последовательности #! . Также строки, начинающиеся с символа # можно использовать для комментариев действий пользователя в скрипте. Встретив символ #, интерпретатор shell игнорирует эту строку. Каждый комментарий должен завершаться символом окончания строки. Использование комментариев является признаком хорошего тона.
Расширение и запуск скриптов. Обычно файлы-сценариев имеют не только имена, но также и расширения. Чаще всего в качестве расширений используют комбинацию букв sh от латинского слова shell. По такому расширению, не открывая файл, сразу понятно, что это shell скрипт, так как нам опять же понятно, что файл с расширением . c скорее всего является входным файлом языков высокого уровня С и С++. После набора содержимого файла, файл сохраняется. Запустить файл можно двумя способами либо сделать его исполняемым с помощью команды chmod, либо запускать его с помощью специальных операторов командного интерпретатора: sh и. Обычно пользователи задают для файл-сценария восьмеричные значения 750 или 550. В следующем примере сделаем скрипт script.sh выполняемым с помощью команды chmod и запустим его на выполнение из текущей директории в фоновом режиме.
chmod u+x script.sh
./ script.sh &
Теперь вернем файлу предыдущие атрибуты и запустим его на выполнение с помощью оператора BASH.
chmod u-x script.sh
sh script.sh&
Команда echo . Помимо перечня стандартных команд Linux, самое простое, что можно использовать в скрипте – это вывод текстовых комментариев пользователю с помощью команда echo. Например, данную команду можно использоваться для приглашения пользователя выполнить какое-нибудь действие или использовать для приветствия пользователя. В следующем примере с помощью echo отображается приветствие.
echo “Добрый день!”
Команда read . При создании скриптов вы можете также применять переменные и сценарии, написанные для других интерпретаторов и команд. Команда read служит командой запроса пользователя на ввод информации. Она сочетается с подсказкой пользователю, которая приглашает ввести нужную информацию. Приведем пример использования read.
echo “Введите ваше имя: ”
read your _ name
echo “ Добрый день ,” your_name “!”
Данный скрипт усложнен по отношению к предыдущему. Здесь используется переменная your_name , значение которой потом применяется совместно с текстом.
Использование переменных. Как и языках программирования, в shell Вы также можете использовать переменные, присваивать значения переменным можно через оператор присваивания равно «=». Сначала вводится имя переменной, потом без пробела знак «=», затем без пробела значение переменной. Имя переменной может состоять из любого количества буквенных символов, включая символ подчеркивания. Имя может содержать и цифры, однако не должно начинаться с цифры. Все остальные символы (в частности, восклицательный знак, амперсанд и пробел) в имя входить не должны. Такие символы зарезервированы интерпретатором для специальных целей. Как следствие, имя может состоять только из одного слова, поскольку при синтаксическом анализе команд интерпретатор рассматривает пробел как разделитель имен команд и аргументов. Значение переменной может состоять из любой последовательности символов. В следующем примере присвоим переменной «ppp» значение «www123yyy».
ppp =” www 123 yyy ”
Если вы используете в качестве значения переменной строковое значение, используйте двойные кавычки. После присвоения значения вы можете пользоваться именем переменной для ссылки на это значение, например использовать его в качестве аргумента команд сценария. На значение переменной можно ссылаться посредством ее имени, которое предваряется оператором $. Знак доллара - это специальный оператор, который использует имя переменной для ссылки на ее значение, то есть фактически для ее вычисления. Теперь с помощью уже знакомой команды echo и переменной «ppp» можно отображать значение этой переменной.
echo $ppp
www123yyy
Аргументы командной строки. В сценарии, как и в командах Linux, можно использовать аргументы. Аргумент в сценарии обозначается оператором $ с указанием номера позиции в командной строке. Нумерация параметров начинается с единицы, а заканчивается девятью. Первый параметр задается переменной $1, второй - $2 и т. д. Аргумент $0 резервируется для имени shell-сценария, в качестве которого выступает первое слово, находящееся в командной строке. По умолчанию имеется возможность устанавливать 9 переменных с $1 до $9 . Если вводится несколько аргументов, можно отдельно обращаться к каждому из них по его номеру. В следующем примере в командной строке вводятся три аргумента. Предварительно создадим скрипт arguments с аргументами, а потом его выполним.
Обращаем ваше внимание, если вам требуется использовать аргумент(ы) из нескольких слов, вы должны в командной строке взять его (их) в двойные кавычки. Иногда требуется задать в сценарии точное количество аргументов, это можно выполнить с помощью аргумента $# . Параметр $* позволяет указать все аргументы в командной строке.
Переменная export. Иногда для разных файлов-сценария требуется воспользоваться определенной переменной, которая уже была определена. Переменные, которые вы определяете в интерпретаторе shell, являются локальными для него. В некотором смысле такая переменная принадлежит своему интерпретатору. Непосредственно определить переменную для другого интерпретатора нельзя, однако можно экспортировать определение переменной из одного интерпретатора в другой с помощью команды export. Команда export содержит инструкцию для системы, в соответствии с которой для каждого вновь образованного shell будет определяться копия этой переменной. Каждый новый интерпретатор shell будет иметь собственную копию экспортированной переменной. В следующем примере определим переменную «rrr» и экспортируем ее для других интерпретаторов с помощью команды export.
Арифметические операции – команда let . Команда let - это команда интерпретатора BASH shell, обеспечивающая выполнение операций над арифметическими величинами. С помощью этой команды можно сравнивать числовые значения или выполнять над ними арифметические операции, такие как сложение или умножение. Формат команды: let значение1 оператор значение2. Приведем пример.
$ let 2*5
10
В арифметические выражения, использующие оператор let, можно включать и операторы присваивания. В следующем примере результат умножения двух чисел присваивается переменной total.
$ let “total=2*5”
$ echo $total
10
$
Операторы сравнения часто используются для сравнения числовых значений в управляющих конструкциях, таких как циклы и условные переходы. В следующем примере команды сценария file1 четырежды выводят на экран слово "Привет!". В данном случае для управления выходом из цикла используется оператор let "ttt <= 4", а для увеличения переменной цикла again на единицу - оператор let "ttt = ttt + 1". Обратите внимание на то, что при изменении переменной again ее вычислять не требуется.
File1
ttt=l
while let "ttt<= 4"
do
echo $ttt Привет!
let "ttt = ttt + 1"
done
Выполнение скрипта:
$ file1
Привет!
Привет!
Привет!
Кроме того, вы также можете использовать и другие арифметические операторы. В таблице 1 приведены арифметические операторы и операторы сравнения Bash Shell.
Таблица 1 - Операторы BASH shell
|
Арифметические операторы |
Функции |
|
Умножение |
|
|
Сложение |
|
|
Вычитание |
|
|
Деление с остатком |
|
|
Операторы сравнения |
Функции |
|
Больше чем |
|
|
Меньше чем |
|
|
Больше либо равно |
|
|
Меньше либо равно |
|
|
Равенство в выражениях |
|
|
Равенство в команде let |
|
|
Не равно |
|
|
Логическое И |
|
|
Логическое ИЛИ |
|
|
Логическое НЕ |
Управляющие конструкции. Управляющие конструкции предназначены для управления ходом выполнения команд shell-сценария. Эти конструкции позволяют организовать повторное выполнение определенной последовательности команд или выбирать для выполнения команды, необходимые в конкретной ситуации. Управляющая конструкция состоит из двух основных компонентов: операции проверки и команд. В результате выполнения сравнения (проверки условия) возвращается значение «истина» или «ложь», а затем на основании полученного результата выполняются определенные команды. Существует два вида управляющих конструкций: циклические (циклы) и условные (ус ловия). Циклическая конструкция используется для повторного выполнения команд, тогда как условная - для выполнения последовательности команд., которая удовлетворяет определенным условиям. В интерпретаторе BASH shell можно использовать три циклические конструкции, while, for и for-in, и две условные - if и case.
Управляющие конструкции while и if - это конструкции общего назначения, которые обычно используются при решении таких задач, как итерационные вычисления и проверка различных условий. Управляющие конструкции case и for ориентированы на более узкий круг задач. Конструкция case является многовариантным оператором и представляет собой частный случай условного оператора if. Эта конструкция часто используется при создании меню. Конструкция for представляет собой цикл, однократно обрабатывающий всю информацию для каждого значения, включенного в список, до тех пор, пока не встретится окончание списка.
Кроме сравнения значений или переменных, управляющие конструкции if и while можно применять для проверки того, успешно или неудачно была выполнена системная команда Linux. Напомним, что в Linux каждая выполняемая команда возвращает код завершения. Если выполнение команды было успешным, ее код завершения равен 0. Если по какой-либо причине команда не была выполнена успешно, кодом завершения будет некоторое положительное значение, указывающее тип ошибки. Управляющие конструкции if и while позволяют проверить, чему был равен код завершения: 0 или некоторому другому значению. Если код завершения равен нулю, значит, выполнение команды было успешным и управляющая конструкция if или while будет завершена.
Команда test . Сравнивать значения можно не только с помощью условных управляющих конструкций, но также с помощью команды test. При сравнении двух значений test возвращает 0 в том случае, если сравнение будет успешным. Команда test позволяет сравнивать целые числа, строки и даже выполнять логические операции. Совместно с командой test применяют опции, которые задают тип сравнения. Полный перечень опций приведен в таблице 2.
Таблица 2. Операции, выполняемые командой test интерпретатора BASH shell
|
Сравнение целых чисел |
Функция |
|
Больше чем |
|
|
Меньше чем |
|
|
Больше чем либо равно |
|
|
Меньше чем либо равно |
|
|
Не равно |
|
|
Сравнение строк |
Функция |
|
Проверка на наличие пустой строки |
|
|
Проверка на наличие строкового значения |
|
|
Проверка строк на равенство |
|
|
Прооверка строк на неравенство |
|
|
Проверка на наличие строки, состоящей из нулей |
|
|
Логические операции |
Функция |
|
Логическое И |
|
|
Логическое ИЛИ |
|
|
Логическое НЕ |
|
|
Проверка файлов |
Функция |
|
Установка факта существования файла и его регулярности |
|
|
Проверяется, не является ли файл пустым |
|
|
Проверка возможности считывания из файла |
|
|
Проверка возможности записи в файл, а также его изменения |
|
|
Проверяется, является ли файл исполнимым |
|
|
Проверяется, является ли имя файла именем каталога |
|
|
Проверяется, является ли имя файла символической ссылкой |
|
|
Проверяется, обозначает ли имя файла байт-ориентированное устройство |
|
|
Проверяется, обозначает ли имя блок-ориентированное устройство |
Команда test имеет следующий синтаксис:
test значение -опция значение
test строка = строка
В следующем примере покажем пример использования команды test. Сравним целочисленных значения, для этого используем опцию равенства –eq. Для проверки результата выполнения операции сравнения используем код завершения последней выполненной командыtest, который храниться в переменной $? интерпретатораshell.
$ tot = 4
$ test $ tot -eq 7
$ echo $?
1
Также команда test $tot –eq 7 может быть записана и в другом виде:
$ [ $tot –eq 7 ]
Условные конструкции: if, if-else, elif, case . Интерпретатор BASH shell включает несколько условных управляющих конструкций (табл. 3), которые позволяют выбирать для выполнения определенные команды Linux. Многие из этих конструкций напоминают условные управляющие конструкции в языках программирования, но имеются и некоторые отличия.
Таблица 3 – Управляющие конструкции интерпретаторов bash Shell
|
Условные управляющие конструкции |
Функция |
|
if команда then команда fi |
Конструкция if вызывает выполнение действия в случае, если результат проверки истинен |
|
if команда then команда else команда fi |
Конструкция if-else вызывает выполнение действия в случае, если код завершения проверяемой команды paвен значению «истина», в противном случае выполняется действие else |
|
if команда then команда elif команда then команда else команда fi |
Конструкция elif дает возможность вкладывать конструкции if, что позволяет выбрать один из многих вариантов; если истинно условие, проверяемое первой конструкцией if, выполняются предусмотренные в ней команды и следующей конструкции elif управление не передается |
|
case строка in шаблон) команда;; еsас |
Конструкция case сравнивает строковое значение с одним из нескольких шаблонов (образцов). При обнаружении совпадения выполняются команды, соответствующие этому шаблону |
|
команда && команда |
Логическая операция И возвращает значение 0 («истина»), если обе команды возвращают значение 0; если же одна из команд возвращает ненулевое значение, результат операции И равен «ложь» и данная операция возвращает ненулевое значение |
|
команда | | команда |
Логическая операция ИЛИ, возвращающая значение 0 («истина») в случае, если одна или обе команды возвращают значение 0 («истина»); если обе команды возвращают ненулевое значение, то результат операции ИЛИ - «ложь» и операция возвращает ненулевое значение |
|
Команда |
Логическая операция НЕ, инвертирует код завершения команды |
|
while команда do команды done |
Конструкция while выполняет действие до тех пор, пока команда проверки возвращает значение «истина» |
|
until команда do команды done |
Конструкция until выполняет действие до тех пор, пока команда проверки возвращает значение «ложь» |
|
Циклические управляющие конструкции |
Функция while, until, for, for-in, select |
|
for переменная in список-значений do команды done |
Конструкция for-in предназначена для обработки списка значений. Переменной последовательно присваиваются значения из списка |
|
for переменная do команды done |
Конструкция for предназначена для последовательной обработки аргументов сценария. Переменной последовательно присваивается значение каждого аргумента |
|
select строка in перечень-элементов do команды done |
Конструкция select создает меню на основе элементов заданного списка, а затем выполняется указанная команда (обычно это команда case) |
Условная конструкция if - then . Условная конструкция if ставит условие на выполнение команды. Этим условием является код завершения какой-то конкретной команды Linux. Если команда выполнена успешно (то есть код завершения равен 0), то команды внутри конструкции if выполняются. Если код завершения отличен от 0, то команды внутри конструкции if выполняться не будут. Иногда требуется выбрать один из двух вариантов, в зависимости от того как была выполнены команда Linux. Ключевое слово else конструкции if позволяет выбрать один из двух вариантов. Приведем синтаксис команды if-then-else.
