셸과 스크립팅
셸은 컴퓨터를 효율적으로 다룰 수 있는 텍스트 인터페이스입니다.
셸 프롬프트는 터미널을 열었을 때 여러분을 맞이하는 것입니다. 프로그램과 명령어를 실행할 수 있으며, 흔히 쓰는 명령어는 다음과 같습니다.
- 디렉토리를 바꾸는
cd - 파일과 디렉토리 목록을 보여 주는
ls - 파일을 이동하고 복사하는
mv와cp
하지만 셸로는 훨씬 더 많은 일을 할 수 있습니다. 컴퓨터에 있는 어떤 프로그램이든 실행할 수 있고, 여러분이 하고 싶은 거의 모든 일을 할 수 있는 명령줄 도구가 있습니다. 그리고 이런 도구는 같은 기능의 그래픽 도구보다 효율적인 경우가 많습니다. 이 수업에서는 그런 도구를 여럿 살펴보겠습니다.
셸은 대화형 프로그래밍 언어(“스크립팅”)를 제공합니다. 셸에는 여러 종류가 있습니다.
- 아마
sh나bash를 사용해 보았을 것입니다. - 특정 언어에 맞춘 셸도 있습니다.
csh가 그렇습니다. - “더 나은” 셸도 있습니다.
fish,zsh,ksh가 그렇습니다.
이 수업에서는 널리 쓰이는 sh와 bash에 집중하겠지만,
다른 셸도 자유롭게 써 보세요. 저는 fish를 좋아합니다.
셸 프로그래밍은 여러분의 도구 상자에 넣어 둘 아주 유용한 도구입니다.
프롬프트에서 직접 프로그램을 작성할 수도 있고, 파일에 작성할 수도 있습니다.
#!/bin/sh + chmod +x로 셸에서 실행할 수 있게 만듭니다.
셸로 작업하기
명령어를 여러 번 실행해 봅시다.
for i in $(seq 1 5); do echo hello; done
여기에는 짚어 볼 내용이 많습니다.
for x in list; do BODY; done;는 명령어를 끝냅니다. 줄바꿈과 같습니다.list를 나누고, 각 항목을x에 대입한 다음 본문을 실행합니다.- 이때 “공백 문자로 나누기”를 하는데, 나중에 다시 살펴보겠습니다.
- 셸에는 중괄호가 없으므로
do+done을 씁니다.
$(seq 1 5)seq프로그램에1과5를 인자로 주어 실행합니다.$()전체를 그 프로그램의 출력으로 치환합니다.- 다음과 같습니다.
for i in 1 2 3 4 5
echo hello- 셸 스크립트에서는 모든 것이 명령어입니다.
- 이 경우에는 인자를 출력하는
echo명령어를hello라는 인자와 함께 실행합니다. - 모든 명령어는
$PATH(콜론으로 구분됨)에서 검색합니다.
변수도 있습니다.
for f in $(ls); do echo $f; done
현재 디렉토리의 파일 이름을 하나씩 출력합니다.
=를 사용해 변수를 설정할 수도 있습니다(공백 없이!).
foo=bar
echo $foo
“특수한” 변수도 여럿 있습니다.
$1부터$9: 스크립트의 인자$0: 스크립트 자체의 이름$#: 인자의 개수$$: 현재 셸의 프로세스 ID
디렉토리만 출력하려면 다음과 같이 합니다.
for f in $(ls); do if test -d $f; then echo dir $f; fi; done
여기에도 짚어 볼 내용이 더 있습니다.
if CONDITION; then BODY; fiCONDITION은 명령어입니다. 종료 상태 0(성공)을 반환하면BODY가 실행됩니다.else나elif를 덧붙일 수도 있습니다.- 여기에도 중괄호가 없으므로
then+fi를 씁니다.
test는 다양한 검사와 비교를 제공하는 또 다른 프로그램으로, 결과가 참이면 0으로 종료합니다($?).man COMMAND가 도움이 됩니다.man test를 보세요.[+]로 실행할 수도 있습니다.[ -d $f ]man test와which "["를 살펴보세요.
그런데 잠깐! 이 코드는 잘못되었습니다! 파일 이름이 “My Documents”라면 어떨까요?
for f in $(ls)는for f in My Documents로 확장됩니다.- 먼저
My를 검사하고, 그다음Documents를 검사합니다. - 우리가 원한 동작이 아닙니다!
- 셸 스크립트에서 버그를 가장 많이 일으키는 원인입니다.
인자 나누기
Bash는 공백 문자를 기준으로 인자를 나눕니다. 항상 원하는 동작은 아닙니다!
- 인자 안의 공백을 처리하려면 따옴표를 사용해야 합니다.
for f in "My Documents"는 올바르게 동작합니다. - 다른 곳에도 같은 문제가 있습니다. 어디인지 보이나요?
test -d $f:$f에 공백 문자가 있으면test에서 오류가 납니다! echo는 나눈 뒤 공백으로 다시 합치므로 우연히 문제가 없습니다. 하지만 파일 이름에 줄바꿈이 있으면 어떨까요?! 공백으로 바뀝니다!- 나누고 싶지 않은 변수를 사용할 때는 모두 따옴표로 감싸세요.
- 그러면 위의 스크립트는 어떻게 고칠까요?
for f in "$(ls)"는 어떤 동작을 할 것 같나요?
글로빙이 답입니다!
- bash는 패턴으로 파일을 찾는 방법을 알고 있습니다.
*: 임의의 문자열?: 임의의 한 문자{a,b,c}: 이 문자들 중 하나
for f in *: 이 디렉토리의 모든 파일- 글로빙에서는 일치하는 각 파일이 별도의 인자가 됩니다.
- 그래도 사용할 때는 반드시 따옴표로 감싸야 합니다.
test -d "$f"
- 그래도 사용할 때는 반드시 따옴표로 감싸야 합니다.
- 고급 패턴도 만들 수 있습니다.
for f in a*: 현재 디렉토리에서a로 시작하는 모든 파일for f in foo/*.txt:foo의 모든.txt파일for f in foo/*/p??.txtfoo의 하위 디렉토리에서 이름이 p로 시작하고 세 글자인 모든 텍스트 파일
공백 문자 문제는 여기서 끝나지 않습니다.
if [ $foo = "bar" ]; then– 문제가 보이나요?$foo가 비어 있다면 어떨까요?[에 전달되는 인자는=와bar입니다…[ x$foo = "xbar" ]로 우회할 수는 있지만, 영 별로입니다.- 대신
[[를 사용하세요. 특별한 구문 분석 방식을 사용하는 bash 내장 비교 연산자입니다.-a대신&&,-o대신||등도 사용할 수 있습니다.
조합 가능성
셸이 강력한 이유 중 하나는 조합 가능성입니다. 모든 일을 하는 프로그램 하나 대신, 여러 프로그램을 서로 연결할 수 있습니다.
핵심 문자는 |(파이프)입니다.
a | b는a와b를 모두 실행하고,a의 모든 출력을b의 입력으로 전달하고,b의 출력을 출력한다는 뜻입니다.
실행하는 모든 프로그램(“프로세스”)에는 세 개의 “스트림”이 있습니다.
STDIN: 프로그램이 입력을 읽을 때 여기서 읽습니다.STDOUT: 프로그램이 무언가를 출력하면 여기로 갑니다.STDERR: 프로그램이 선택해서 사용할 수 있는 두 번째 출력입니다.- 기본적으로
STDIN은 키보드이고,STDOUT과STDERR는 모두 터미널입니다. 하지만 바꿀 수 있습니다!a | b는a의STDOUT을b의STDIN으로 만듭니다.- 다음과 같은 방법도 있습니다.
a > foo(a의STDOUT이foo파일로 갑니다.)a 2> foo(a의STDERR가foo파일로 갑니다.)a < foo(a의STDIN을foo파일에서 읽습니다.)- 힌트:
tail -f는 파일에 내용이 쓰이는 대로 출력합니다.
- 이것이 왜 유용할까요? 프로그램의 출력을 가공할 수 있기 때문입니다!
ls | grep foo:foo라는 단어를 포함하는 모든 파일ps | grep foo:foo라는 단어를 포함하는 모든 프로세스journalctl | grep -i intel | tail -n5: intel이라는 단어를 포함하는 마지막 시스템 로그 메시지 5개(대소문자 구분 없음)who | sendmail -t me@example.com로그인한 사용자 목록을me@example.com으로 보냅니다.- 나중에 다루겠지만, 많은 데이터 랭글링 작업의 기초가 됩니다.
Bash는 프로그램을 조합하는 다른 방법도 여럿 제공합니다.
(a; b) | tac처럼 명령어를 묶을 수 있습니다. a를 실행한 다음 b를 실행하고,
두 명령어의 모든 출력을 입력을 역순으로 출력하는 tac에 보냅니다.
덜 알려져 있지만 대단히 유용한 방법은 프로세스 치환입니다.
b <(a)는 a를 실행하고, 그 출력 스트림을 위한 임시 파일 이름을 만든 다음,
그 파일 이름을 b에 전달합니다. 예를 들어,
diff <(journalctl -b -1 | head -n20) <(journalctl -b -2 | head -n20)
이 명령어는 가장 최근 부팅 로그의 첫 20줄과 그 이전 부팅 로그의 첫 20줄 사이의 차이를 보여 줍니다.
작업 및 프로세스 제어
오래 걸리는 작업을 백그라운드에서 실행하고 싶다면 어떨까요?
- 접미사
&는 프로그램을 “백그라운드에서” 실행합니다.- 즉시 프롬프트로 돌아옵니다.
- 서버와 클라이언트처럼 프로그램 두 개를 동시에 실행하고 싶을 때 유용합니다.
server & client - 실행 중인 프로그램의
STDOUT은 여전히 터미널이라는 점에 주의하세요! 이렇게 해 보세요.server > server.log & client
jobs로 그런 프로세스를 모두 볼 수 있습니다.- “Running”이 표시되는 것을 확인하세요.
fg %JOB으로 포어그라운드로 가져옵니다(인자가 없으면 가장 최근 작업).- 현재 프로그램을 백그라운드로 보내려면
^Z+bg를 사용하세요(여기서^Z는Ctrl+Z를 누른다는 뜻입니다).^Z는 현재 프로세스를 중지하고 “작업”으로 만듭니다.bg는 마지막 작업을 백그라운드에서 실행합니다(&를 사용한 것처럼).
- 백그라운드 작업은 여전히 현재 세션에 연결되어 있고, 로그아웃하면 종료됩니다.
disown으로 그 연결을 끊을 수 있습니다. 또는nohup을 사용하세요. $!는 마지막 백그라운드 프로세스의 pid입니다.
컴퓨터에서 실행 중인 다른 것들은 어떨까요?
ps가 도움이 됩니다. 실행 중인 프로세스 목록을 보여 줍니다.ps -A: 모든 사용자의 프로세스를 출력합니다(ps ax도 가능).ps에는 많은 인자가 있습니다.man ps를 보세요.
pgrep: 검색으로 프로세스를 찾습니다(ps -A | grep과 비슷).pgrep -af: 인자도 함께 검색하고 표시합니다.
kill: ID로 프로세스에 신호를 보냅니다(pkill은 검색 +-f).- 신호는 프로세스에 “무언가를 하라”고 알립니다.
- 가장 흔한 것:
SIGKILL(-9또는-KILL): 지금 바로 종료하라고 알립니다.^\와 같습니다. SIGTERM(-15또는-TERM)도 있습니다. 정상적인 종료 절차를 거쳐 종료하라고 알립니다.^C와 같습니다.1
플래그
대부분의 명령줄 유틸리티는 플래그로 매개변수를 받습니다. 플래그는 보통 짧은 형식(-h)과 긴 형식(--help)이 있습니다. 대개 CMD -h나 man CMD를 실행하면 프로그램이 받는 플래그 목록을 볼 수 있습니다.
짧은 플래그는 보통 합칠 수 있습니다. rm -r -f를 실행하는 것은 rm -rf나 rm -fr를 실행하는 것과 같습니다.
흔히 쓰는 플래그 중 일부는 사실상의 표준이며, 여러 애플리케이션에서 볼 수 있습니다.
-a는 보통 모든 파일(즉, 마침표로 시작하는 파일도 포함)을 가리킵니다.-f는rm -f처럼 보통 무언가를 강제로 수행한다는 뜻입니다.-h는 대부분의 명령어에서 도움말을 보여 줍니다.-v는 보통 자세한 출력을 켭니다.-V는 보통 명령어의 버전을 출력합니다.
또한 내장 명령어와 다른 여러 명령어에서는 이중 대시 --로 명령어 옵션의 끝을 나타내며, 그 뒤에는 위치 매개변수만 받습니다. 따라서 -v라는 파일이 있고(그런 이름도 가능합니다) 이 파일에 grep을 사용하려면 grep pattern -- -v는 동작하지만 grep pattern -v는 동작하지 않습니다. 실제로 이런 파일을 만드는 한 가지 방법은 touch -- -v를 실행하는 것입니다.
연습 문제
-
셸이 완전히 처음이라면 BashGuide처럼 더 포괄적인 안내서를 읽어 보는 것이 좋습니다. 더 깊이 있는 입문서를 원한다면 The Linux Command Line이 좋은 자료입니다.
-
PATH, which, type
PATH환경 변수가 명령줄에서 실행하는 프로그램을 찾는 데 사용된다는 것을 간단히 이야기했습니다. 조금 더 살펴봅시다.echo $PATH(보기 좋게 출력하려면echo $PATH | tr -s ':' '\n')를 실행하고 내용을 살펴보세요. 어떤 위치가 나열되어 있나요?which명령어는 사용자의 PATH에서 프로그램을 찾습니다.echo,ls,mv처럼 흔히 쓰는 명령어에which를 실행해 보세요.which는 셸 별칭을 이해하지 못하므로 다소 한계가 있다는 점에 주의하세요. 같은 명령어에type과command -v를 실행해 보세요. 출력은 어떻게 다른가요?PATH=를 실행한 다음 앞의 명령어를 다시 실행해 보세요. 어떤 것은 동작하고 어떤 것은 동작하지 않습니다. 이유를 알아낼 수 있나요?
- 특수 변수
- 변수
~는 무엇으로 확장되나요?.은 어떤가요?..은요? - 변수
$?는 무슨 일을 하나요? - 변수
$_는 무슨 일을 하나요? - 변수
!!는 무엇으로 확장되나요?!!*는 어떤가요?!l은요? - 이 옵션들의 문서를 찾아보고 익숙해지세요.
- 변수
-
xargs
파이프의 출력을 받는 명령어가 줄바꿈으로 구분된 형식을 기대하지 않아서 파이프가 제대로 동작하지 않는 경우가 있습니다. 예를 들어
file명령어는 파일의 속성을 알려 줍니다.ls | file과ls | xargs file을 실행해 보세요.xargs는 무슨 일을 하고 있나요? -
셔뱅
스크립트를 작성할 때 셔뱅 줄을 사용해 스크립트를 해석할 인터프리터를 셸에 지정할 수 있습니다. 다음 내용으로
hello라는 스크립트를 작성하고chmod +x hello로 실행 가능하게 만드세요. 그런 다음./hello로 실행하세요. 그다음 첫 번째 줄을 지우고 다시 실행해 보세요. 셸은 첫 번째 줄을 어떻게 사용하나요?#! /usr/bin/python print("Hello World!")셔뱅이
#! usr/bin/env bash처럼 생긴 프로그램을 자주 보게 됩니다. 이 방법은 이식성이 더 높으며, 나름의 장단점이 있습니다.env는which와 어떻게 다른가요?env는 어떤 프로그램을 실행할지 정할 때 어떤 환경 변수를 사용하나요? -
파이프, 프로세스 치환, 서브셸
다음 내용으로
slow_seq.sh라는 스크립트를 만들고chmod +x slow_seq.sh를 실행해 실행 가능하게 만드세요.#! /usr/bin/env bash for i in $(seq 1 10); do echo $i; sleep 1; done파이프(와 프로세스 치환)는 서브셸 실행, 즉
$()를 사용하는 것과 다른 점이 있습니다. 다음 명령어를 실행하고 차이를 관찰하세요../slow_seq.sh | grep -P "[3-6]"grep -P "[3-6]" <(./slow_seq.sh)echo $(./slow_seq.sh) | grep -P "[3-6]"
- 기타
touch {a,b}{a,b}를 실행한 다음ls를 실행해 보세요. 무엇이 생겼나요?- STDIN을 유지하면서도 파일로 파이프하고 싶을 때가 있습니다.
echo HELLO | tee hello.txt를 실행해 보세요. cat hello.txt > hello.txt를 실행해 보세요. 어떤 일이 일어날 것으로 예상하나요? 실제로는 어떤 일이 일어나나요?echo HELLO > hello.txt를 실행한 다음echo WORLD >> hello.txt를 실행하세요.hello.txt에는 어떤 내용이 있나요?>는>>와 어떻게 다른가요?printf "\e[38;5;81mfoo\e[0m\n"를 실행하세요. 출력은 어떻게 달랐나요? 더 알고 싶다면 ANSI 색상 이스케이프 시퀀스를 검색해 보세요.touch a.txt를 실행한 다음^txt^log를 실행하세요. bash는 여러분을 위해 무슨 일을 했나요? 같은 맥락에서fc를 실행해 보세요. 무슨 일을 하나요?
-
키보드 단축키
자주 사용하는 애플리케이션이라면 무엇이든 키보드 단축키에 익숙해질 가치가 있습니다. 다음 단축키를 입력하고 무슨 일을 하는지, 어떤 상황에서 알아 두면 편리할지 파악해 보세요. 일부 단축키는 온라인에서 동작을 검색해 보는 편이 더 쉬울 수도 있습니다. (
^X는Ctrl+X를 누른다는 뜻임을 기억하세요.)^A,^E^R^L^C,^\와^D^U와^Y
한국어 각주
1: (한국어 각주) 원문은 ^\를 SIGKILL, ^C를 SIGTERM에 대응시키지만, 일반적인 터미널 설정에서는 Ctrl+\가 SIGQUIT, Ctrl+C가 SIGINT를 보냅니다. GNU C 라이브러리 설명서를 참고하세요. 본문으로 돌아가기.
CC BY-NC-SA에 따라 라이센스를 부여합니다.