linux and bash pt 3

3 files changed, 1100 insertions, 1 deletions

diff --git a/content/weblog/2018-12-31_intro-to-linux-and-bash-pt2/index.ru.md b/content/weblog/2018-12-31_intro-to-linux-and-bash-pt2/index.ru.md
index 34ad9d9..992e3cc 100644
--- a/content/weblog/2018-12-31_intro-to-linux-and-bash-pt2/index.ru.md
+++ b/content/weblog/2018-12-31_intro-to-linux-and-bash-pt2/index.ru.md
@@ -1,5 +1,5 @@
 +++
-title = "Intro to Linux and the Bash command line, pt II"
+title = "Введение в Linux и Bash, часть III"
 date = 2018-12-31T09:20:00Z
 +++
 
diff --git a/content/weblog/2019-01-11_intro-to-linux-and-bash-pt3/index.md b/content/weblog/2019-01-11_intro-to-linux-and-bash-pt3/index.md
new file mode 100644
index 0000000..eaf2757
--- /dev/null
+++ b/content/weblog/2019-01-11_intro-to-linux-and-bash-pt3/index.md
@@ -0,0 +1,557 @@
++++
+title = "Intro to Linux and the Bash command line, pt III"
+date = 2019-01-11T08:23:00Z
++++
+
+New year, new post. In this third, and most probably final part of these
+tutorial/guide series I will be mentioning some useful commands and programs
+usually present in most standard linux installations. I will be talking
+especially about programs/commands to manipulate text output from programs and
+files. I will also talk a little bit about regular expressions, a powerful tool
+to perform searches inside text strings.
+
+<!-- more -->
+
+## Filters
+
+These programs that perform operations on input text and then write them to
+standard output are commonly known as filters. You may already be familiar with
+one of these commands, which the first one that I'm going to talk about.
+
+### cat
+
+This command allows you the see the content of a text file (or files). It
+stands for con*cat*enate, and not for the house pet. The most basic use of this
+command is to view the contents of a text file, just by typing cat followed by
+the path of the file we wish to see. However, as it name implies, it also has
+the ability to concatenate the contents of multiple text files, for example
+text file 'sample.txt'
+
+```sh
+user@host:~/Documents/notes$ cat sample.txt
+Pepe    cool
+Tide Pods   lame
+Uganda Knuckles cool
+Thanos  cool
+JPEG    ok
+Despacito   lame
+Bowsette    cool
+Harold  cool
+Sans    coolest
+Minions lamest
+NPC cool
+```
+
+And we want to concatenate its content with file 'sample2.txt' to standard
+output
+
+```sh
+user@host:~/Documents/notes$ cat sample.txt sample2.txt
+Pepe    cool
+Tide Pods   lame
+Uganda Knuckles cool
+Thanos  cool
+JPEG    ok
+Despacito   lame
+Bowsette    cool
+Harold  cool
+Sans    coolest
+Minions lamest
+NPC cool
+Troll Face  old
+Can haz chezburger  really old
+ROFLcopter  super old
+Dancing baby    ancient
+```
+
+As usual, this command accepts different options, like for example the -n
+option to display line
+
+```sh
+user@host:~/Documents/notes$ cat -n sample.txt
+     1  Pepe    cool
+     2  Tide Pods   lame
+     3  Uganda Knuckles cool
+     4  Thanos  cool
+     5  JPEG    ok
+     6  Despacito   lame
+     7  Bowsette    cool
+     8  Harold  cool
+     9  Sans    coolest
+    10  Minions lamest
+    11  NPC cool
+```
+
+As always, you can check other options by looking up cat and any other command
+with man, as explained in the previous part.
+
+### head
+
+This is a really simple command, it shows the first n lines of a text
+file/output. To use it, type head, followed by -n, then the number of lines to
+show, and then the file. For example, let's say we want to see the first 5
+lines of sample.txt
+
+```sh
+user@host:~/Documents/notes$ head -n 5 sample.txt
+Pepe    cool
+Tide Pods   lame
+Uganda Knuckles cool
+Thanos  cool
+JPEG    ok
+```
+
+If we use the command without passing the number of lines we wish to see, it
+outputs the first 10 lines by default. For this just type head followed by the
+path of the file.
+
+### tail
+
+Basically the same as head, except it shows the last lines. Let's say we want
+to see the last three lines
+
+```sh
+user@host:~/Documents/notes$ tail -n 3 sample.txt
+Sans    coolest
+Minions lamest
+NPC cool
+```
+
+As with head, the default is to output 10 lines.
+
+### sort
+
+This command is as obvious as it seems. It sorts output. For example
+
+```sh
+user@host:~/Documents/notes$ sort sample.txt
+Bowsette    cool
+Despacito   lame
+Harold  cool
+JPEG    ok
+Minions lamest
+NPC cool
+Pepe    cool
+Sans    coolest
+Thanos  cool
+Tide Pods   lame
+Uganda Knuckles cool
+```
+
+### sed
+
+This one is a really powerful utility to transform and manipulate text,
+however, to keep this tutorial short, I will only be showing a couple of the
+most used cases. sed stands for "stream editor".
+
+The way to use sed, is to pass it a kind of script (a sed script) that tells it
+what to do with the text. The first and one of the most basic uses of sed, is
+to basically perform the same task as head, to get the first n number of lines.
+For example, let's say we want the first 7 lines of sample.txt
+
+```sh
+user@host:~/Documents/notes$ sed '7q' sample.txt
+Pepe    cool
+Tide Pods   lame
+Uganda Knuckles cool
+Thanos  cool
+JPEG    ok
+Despacito   lame
+Bowsette    cool
+```
+
+Of course what I've just told it you it does is a simplification of what it
+really does. Most accurately, the command or script that we passed to sed tells
+it to output the first seven lines, and the q tells it to stop after that.
+
+Another basic use of sed, and arguably the most common one, is to perform
+search and replace operations on text. The basic syntax for this operations is
+'s/<search>/<replace>/' where <search> is the term you want to search for, and
+<replace> is the term you wish to replace it with.
+
+By default it will replace only the first occurrence in each line, however, we
+can specify which or how many occurrences we want to replace by adding a number
+and/or letter to the end. For example, if we add a two
+('s/<search>/<replace>/2') it will replace only second occurrences of each
+line.
+
+But what if we want to replace each and every occurrence in all of the text?
+For that we would use the letter g at the end. Let's say for example, that we
+want to replace all occurrences of "cool" in our sample.txt file, for "dank".
+In this case we would type something like this
+
+```sh
+user@host:~/Documents/notes$ sed 's/cool/dank/g' sample.txt
+Pepe    dank
+Tide Pods   lame
+Uganda Knuckles dank
+Thanos  dank
+JPEG    ok
+Despacito   lame
+Bowsette    dank
+Harold  dank
+Sans    dankest
+Minions lamest
+NPC dank
+```
+
+A thing to keep in mind, is that you should be enclosing the sed script in
+single quotes. Of course these are only some of the most basic uses of this
+command.
+
+### grep
+
+This is the last program to manipulate text output that I want to mention. I
+will demonstrate its basic use in this section, but I will show you a little
+bit more about it in the next section when I will be writing about regular
+expressions.
+
+Back to grep, it is a program that basically searches a pattern that you give
+it, and it will print to you the lines that contain that pattern. For example,
+let's say that we want to see only the cool (or dank) memes in our file to be
+displayed
+
+```sh
+user@host:~/Documents/notes$ grep 'cool' sample.txt
+Pepe    cool
+Uganda Knuckles cool
+Thanos  coolcharacter
+Bowsette    cool
+Harold  cool
+Sans    coolest
+NPC cool
+```
+
+This line of text that we passed it, is actually the most basic form of regular
+expression, of which we will be looking into detail next.
+
+## Regular expressions
+
+A regular expression, or regex for short, is a string of text, that define a
+search pattern for a larger set of text. Regexes are used in many programs,
+such as in text editors, and search engines, and can be also of great use in
+the terminal
+
+### An intermission
+
+Before going into actual regular expressions in grep, I want to mention a
+couple of characters that can make your life easier when dealing with files in
+the terminal. They are called wildcards, and they are the asterisk (*) and the
+question mark (?). If you've ever wondered why you can't use those characters
+in any of your files' names, that's why.
+
+I'll start by explaining the asterisk. When you use the asterisk, you are
+asking to look at or take all files that contain the any number of any
+combination of symbols in the place where you put it. For example, we could be
+looking at files that start with sa
+
+```sh
+user@host:~/Documents/notes$ ls sa*
+saturday.txt sample.txt sample2.txt sample.png
+```
+
+Or another example, we could be looking for files that just contain sa in their
+name
+
+```sh
+user@host:~/Documents/notes$ ls *sa*
+asado.png saturday.txt sample.txt sample2.txt sample.png
+```
+
+Now the question mark. The question mark indicates that there should be a
+character in its place, just any character. Let's say that we want to see all
+files with name "sample" that have a three character extension
+
+```sh
+user@host:~/Documents/notes$ ls sample.???
+sample.txt sample.png
+```
+
+Wildcards come really handy when you need to manipulate multiple files with
+similar names. If the files that you wish to manipulate don't really have
+similar names, you might want to use curly braces to indicate a list of files
+to manipulate, separated by commas. For example
+
+```sh
+user@host:~/Documents/notes$ rm {monday.txt,december1999.txt,saturday.txt}
+```
+
+### Back to regex
+
+Now I'll explain some things about regular expressions, and I'll demonstrate
+some basic uses with grep. Here are some basic concepts
+
+* `.` - The dot means a single character (any character). e.g. 'be.r' would match
+  bear, beer, befr, etc.
+* `*` - The preceding element matches 0 or more times. e.g. 'an*t' would match
+  at, ant, annt, annnt, etc.
+* `+` - The preceding element matches one or more times. e.g. 'an+t' would match
+  ant, annt, annnt, etc.
+* `?` - The preceding element matches 0 or one time. e.g. 'an?t' would match at,
+  and ant.
+* `{n}` - The preceding element matches exactly n times.
+* `{min, }` - The preceding element matches at least min times.
+* `{min, max}` - The preceding element matches at least min times, and no more
+  than max times.
+* `|` - The pipe, logical OR operator. e.g. 'gray|grey' would match gray and grey
+* `()` - The parenthesis group multiple characters as one element. e.g.
+  'gr(a|e)y' would match gray and grey.
+* `[abc]` - It matches if a character is one of those inside the brackets.
+* `[^abc]` - It matches if none of the characters is one of those inside the
+  brackets.
+* `[a-d]` - A range of characters. i.e. a, b, c, or d.
+* `^` - Matches the beginning of the line.
+* `$` - Matches the end of the line.
+
+So now let's suppose for a practical example with grep, that we want to find
+all lines that have "cool" or "ok" in them. In this case we would use the "|"
+pipe symbol. However, if we use normal grep, we would have to escape the pipe
+symbol like this "\|". That's why it is better that we use "grep -E" to enable
+extended regex, or its shorter alias "egrep". It would look something like this
+
+```sh
+user@host:~/Documents/notes$ egrep 'cool|ok' sample.txt
+Pepe    cool
+Uganda Knuckles cool
+Thanos  cool
+JPEG    ok
+Bowsette    cool
+Harold  cool
+Sans    coolest
+NPC cool
+```
+
+Let's suppose, for another example, that we want to match those lines with a 't' as the last character
+
+```sh
+user@host:~/Documents/notes$ egrep 't$' sample.txt
+Sans    coolest
+Minions lamest
+```
+
+I have already mentioned and shown you the use of regexes with grep (and/or
+egrep). Now I would like to show a more practical example with sed. Yes, sed
+uses its own script language to alter text input, however, it also makes use of
+regular expressions.
+
+Let's suppose that we have a file that looks like this
+
+```sh
+user@host:~/Documents/notes$ cat shortcuts
+# Some shortcuts
+
+d       ~/Documents
+D       ~/Downloads
+m       ~/Music
+pp      ~/Pictures
+vv      ~/Videos
+
+
+s       ~/.scripts # My scripts
+cf      ~/.config # My configs
+```
+
+As we can see there is a lot of whitespace, and although comments might be of
+help to humans, they are of no use to machine. Let's begin by getting rid of
+the comments, for that first need to remember the search and replace command of
+sed, 's/<search>/replace/g', since we basically want to get rid of any
+comment-looking string and replace it with, well, nothing. Now we have to think
+of a regex that will match comments, for that '#.*' will do. What regex means
+is, match '#' and everything after it. Now let's put it together, and
+
+```sh
+user@host:~/Documents/notes$ sed 's/#.*//g' shortcuts
+
+
+d       ~/Documents
+D       ~/Downloads
+m       ~/Music
+pp      ~/Pictures
+vv      ~/Videos
+
+
+s       ~/.scripts
+cf      ~/.config
+```
+
+Bam, there it is. However, we still have the blank lines left, and, if you pay
+close attention, the comments have been deleted, but, the spaces that used to
+be before some of the comments are still there.
+
+So first, let's improve our current sed command, if we want to match 0 or more
+spaces (zero because not every comment has a space before it) we would use the
+`*` symbol, but what symbol would we use for spaces? Well, that's an easy one, in
+sed we escape spaces like this '\s', so now our sed command looks like this
+'s/\s*#.*//g'.
+
+Let's take care of the last part, getting rid of blank lines. For this we would
+need to issue a separate command, but fortunately we can stack commands in one
+line with a semicolon (;). Now that we know that we need a way to match empty
+lines with a regex, that's very easy - '^$' just match the beginning and the
+end of line together, after that, we add a sed command for deleting lines which
+I haven't mentioned (d), and our one liner is ready...
+
+```sh
+user@host:~/Documents/notes$ sed 's/\s*#.*//g; /^$/d' shortcuts
+d       ~/Documents
+D       ~/Downloads
+m       ~/Music
+pp      ~/Pictures
+vv      ~/Videos
+s       ~/.scripts
+cf      ~/.config
+```
+
+Of course, issuing this command will not replace the original file, it will
+simply output the result to the terminal screen. If you want to overwrite the
+original file with the result of the sed command, you can pass sed the '-i'
+option.
+
+## Piping and redirecting output
+
+This post is already getting too long, however there's one more useful thing
+about *nix systems that I'd like to mention - the pipeline. The pipeline in
+Unix and Unix-like OSs is a chain of redirected output to the input of another
+program. Along with that, there are operators to redirect standard output to
+files (and viceversa).
+
+### Redirecting to and from files
+
+Let's suppose that we want to repeat the last example, and want to clean the
+file of comments and blank lines. We already now how to overwrite that file,
+however, what if we want to save it to another file using common Unix operators
+in bash. For that we can use the '>' and '>>' operators. For example, let's we
+want to save the result to a second file called "shortcuts_clean"
+
+```sh
+user@host:~/Documents/notes$ sed 's/\s*#.*//g; /^$/d' shortcuts > shortcuts_clean
+```
+
+Since there was no "shortcuts_clean" file, it has been created automatically.
+However, if the file had already existed, it would have overwritten it, unless
+we had used the '>>' operator, in that case, it would have appended the output
+to the already existent file.
+
+Just as there's '>' to redirect TO files, there's also the '<' to redirect from
+files to a program's standard input. However, must of the times you would just
+pass the name/path of the file to the program as an argument.
+
+### Piping
+
+Now that we know how to redirect from and to files, we can learn how to
+redirect from one program to another, with pipes. The pipe operator in *nix
+systems is the vertical bar symbol (|). Let's suppose that we want to see the
+first three files in our current directory, for that, we can pipe the output of
+ls into head, like this
+
+```sh
+user@host:~/Documents/notes$ ls | head -n 3
+asado.png
+monday.txt
+sample.txt
+```
+
+Now let's get back to our sample.txt file. Let's imagine that we first want to
+sort our lines, and we want to preserve only those lines that contain "cool" or
+"lame". Then let's suppose we want to modify to contain legit terms, and not
+some antiquated boomer slang, so we want to replace cool with dank, and lame
+with normie. Finally we want that to be output to a file instead of the screen.
+Whew! Sounds like a lot of stuff to do, but it is quite simple, and it looks
+like this
+
+```sh
+user@host:~/Documents/notes$ egrep 'cool|lame' sample.txt | sort | sed 's/cool/dank/g;s/lame/normie/g' > memes.txt
+```
+
+So if we now take a look at the file...
+
+```sh
+user@host:~/Documents/notes$ cat memes.txt
+Bowsette    dank
+Despacito   normie
+Harold  dank
+Minions normiest
+NPC dank
+Pepe    dank
+Sans    dankest
+Thanos  dank
+Tide Pods   normie
+Uganda Knuckles dank
+```
+
+And that's basically it.
+
+## Post scriptum
+
+Before ending it for good, I want to show some other programs that might be of
+use in the Bash command line.
+
+### less
+
+This command might come in handy when there's another command that outputs a
+lot of text that overfills the terminal screen. You can pipe (as we have just
+learned) the output of that command to less, so that you can navigate with your
+arrow keys, or better yet with vim keys (hjkl). You can also search for terms
+by typing slash (/), just like with man.
+
+### tar
+
+This program is used in Linux to create and extract archives with the .tar
+format, usually also compressing them using gunzip (.gz).
+
+There usually two ways you will be using the program. One to extract files from
+a compressed archive
+
+```sh
+user@host:~/Documents/notes$ tar -xzvf oldnotes.tar.gz
+```
+
+And the other to archive and compress files
+
+```sh
+user@host:~/Documents/notes$ tar -czvf allnotes.tar.gz *
+```
+
+To learn more about the different options of this program, I recommend you
+check the man pages of tar ('man tar').
+
+### ssh and scp
+
+You may have already heard about ssh, which stands for "secure shell", even if
+you are new to Linux or Unix/Unix-like systems. This program is used to connect
+to other computers over a network (or the internet for instance), especially to
+servers.
+
+Let's suppose that you have a server with ip address 180.80.8.20 and your user
+is tux
+
+```sh
+user@host:~$ ssh tux@180.80.8.20
+```
+
+Of course, here we have assumed that the standard ssh port (22) is being used,
+otherwise you will have to specify it by passing -p followed by the port
+number.
+
+Now let's talk about scp, which stands for "secure copy". This command uses the
+same protocol as ssh, and it's used to copy files from one computer to another
+over a network. Let's suppose that you want to copy a file from your current
+computer to the server we used in the previous example
+
+```sh
+user@host:~$ scp somefile tux@180.80.8.20:/home/tux/directory/
+```
+
+If we were trying to do it the other way around, that is, from the remote
+computer to your local computer, it would look like this
+
+```sh
+user@host:~$ scp tux@180.80.8.20:/home/tux/directory/somefile directory/
+```
+
+Just as with ssh, if you are not using standard port 22, you need to say to the
+program to which port you are trying to connect, except that in the case of
+scp, the flag is '-P' instead of '-p', and goes right after "scp".
+
+Well, that's it for this tutorial/guide series, I really hope it was of use to
+you.
diff --git a/content/weblog/2019-01-11_intro-to-linux-and-bash-pt3/index.ru.md b/content/weblog/2019-01-11_intro-to-linux-and-bash-pt3/index.ru.md
new file mode 100644
index 0000000..3621a14
--- /dev/null
+++ b/content/weblog/2019-01-11_intro-to-linux-and-bash-pt3/index.ru.md
@@ -0,0 +1,542 @@
++++
+title = "Введение в Linux и Bash, часть III"
+date = 2019-01-11T08:23:00Z
++++
+
+Новый год, новый пост. В данной, третьей и последней, чатси этого туториала,
+будут несколько команд и программ которые являются стандартной частью
+большинтсва дистрибутивов Линукса. Больше всего внимания я буду выделять
+программ, которые манипулируют вывод текст других программ и файлов. Также в
+этом посте мы поговорим о регулярных выражений (коротко - regex, от английского
+Regular Expression), очень мощный инструмент для поиска текста
+
+<!-- more -->
+
+## Фильтры
+
+Программы, которые манипулируют потоки текста и возвращают его в стандартный
+вывод, часто зовут фильтрами. Скорее всего вы уже знакомы с первой командой, о
+которой я будут писать.
+
+### cat
+
+Данная команда позволяет посмотреть содержимое текстового файла (или файлов).
+Название программы ни как не связанна с котейками, а происходит от слово
+конкатенация. Самое простое применение данной программы - просмотр текстовых
+файлов. Просто пишите cat а затем путь файла. Однако, как можно предположить
+исходя из названии программы, она также позволяет соединять несколько текстовых
+файлов или потоков в один. Например
+
+```sh
+user@host:~/Documents/notes$ cat sample.txt
+Pepe    cool
+Tide Pods   lame
+Uganda Knuckles cool
+Thanos  cool
+JPEG    ok
+Despacito   lame
+Bowsette    cool
+Harold  cool
+Sans    coolest
+Minions lamest
+NPC cool
+```
+
+А теперь допустим что мы хотим соединить соджержимое данного файла с файлом
+'sample2.txt'
+
+```sh
+user@host:~/Documents/notes$ cat sample.txt sample2.txt
+Pepe    cool
+Tide Pods   lame
+Uganda Knuckles cool
+Thanos  cool
+JPEG    ok
+Despacito   lame
+Bowsette    cool
+Harold  cool
+Sans    coolest
+Minions lamest
+NPC cool
+Troll Face  old
+Can haz chezburger  really old
+ROFLcopter  super old
+Dancing baby    ancient
+```
+
+Как обычно, у данной команды есть несколько параметров, как например параметр
+-n чтобы показать номер строки
+
+```sh
+user@host:~/Documents/notes$ cat -n sample.txt
+     1  Pepe    cool
+     2  Tide Pods   lame
+     3  Uganda Knuckles cool
+     4  Thanos  cool
+     5  JPEG    ok
+     6  Despacito   lame
+     7  Bowsette    cool
+     8  Harold  cool
+     9  Sans    coolest
+    10  Minions lamest
+    11  NPC cool
+```
+
+И как я уже рассказывал в предыдущей части, вы можете узнать больше о команде,
+используя программу man ('man cat').
+
+### head
+
+Данная команда довольно простая, она показывает первые n строки текстового
+файла/потока. Введите head, затем -n и количество строк вы желаете увидеть, а
+затем петь файла. Например, допустим что мы хотим увидеть первые 5 строк
+
+```sh
+user@host:~/Documents/notes$ head -n 5 sample.txt
+Pepe    cool
+Tide Pods   lame
+Uganda Knuckles cool
+Thanos  cool
+JPEG    ok
+```
+
+Если мы не передаем количетсво строк, по умолчанию она выводит первые 10 строк.
+Для просто напишите head а затем путь файла.
+
+### tail
+
+Работает также как head, но в отличие от нее, данная команда показывает
+последние строки текста. Допустим мы жотим увидеть последние три строки
+
+```sh
+user@host:~/Documents/notes$ tail -n 3 sample.txt
+Sans    coolest
+Minions lamest
+NPC cool
+```
+
+Также как и с предыдущей командой, по умолчанию выводятся 10 строк.
+
+### sort
+
+С данной командой все очень просто. Она сортирует текст. Например
+
+```sh
+user@host:~/Documents/notes$ sort sample.txt
+Bowsette    cool
+Despacito   lame
+Harold  cool
+JPEG    ok
+Minions lamest
+NPC cool
+Pepe    cool
+Sans    coolest
+Thanos  cool
+Tide Pods   lame
+Uganda Knuckles cool
+```
+
+### sed
+
+sed довольная мощная утилита которая позволяет манипулировать и модифицировать
+текст. Однако, в данном туториале я не буду углубляться в подробнастях работы с
+программой, но покажу пару пару самых используемых команд.
+
+Для работы с данной программой, необходимо передать своего рода скрирта (sed
+script), который укажет программе что делать с текстом. Первый и самый простой
+способ использовать sed, это ипользовать его в качестве программы head, то
+есть, получить первые b строк текста. Например, допустим что нам необходимо
+получить первые 7 строк из файла sample.txt
+
+```sh
+user@host:~/Documents/notes$ sed '7q' sample.txt
+Pepe    cool
+Tide Pods   lame
+Uganda Knuckles cool
+Thanos  cool
+JPEG    ok
+Despacito   lame
+Bowsette    cool
+```
+
+А если более подробно объяснить что данная команда делает, то она говорит
+программе чтобы она вывела 7 строк, и затем вышла (q).
+
+Другой случай, и сокрее всего самое распространенное применение данной
+команды, это операция поиска и замены текста. Основная синтаксис данной
+операции выгладит следующим образцом - 's/<поиск>/<замена>/'.
+
+По умолчанию данная команда заменяет только первое совпадение в каждой строке,
+тем не менее мы может указать какие и сколько совпаднении мы хотим заменить.
+Например, если мы добавим двойку в конце команды ('s/<search>/<replace>/2')
+она заменит только вторые совпадения в каждой строке.
+
+Но а что если мы хотим заменить все совпадения во всех строках? Все очень
+просто - достаточно добавить букву g в конец. Допустим что мы хотим заменить
+все подстроки "cool" на "dank" в файле sample.txt
+
+```sh
+user@host:~/Documents/notes$ sed 's/cool/dank/g' sample.txt
+Pepe    dank
+Tide Pods   lame
+Uganda Knuckles dank
+Thanos  dank
+JPEG    ok
+Despacito   lame
+Bowsette    dank
+Harold  dank
+Sans    dankest
+Minions lamest
+NPC dank
+```
+
+Обратите внимание на то что команду которую мы передаем sed'у находится в
+кавычках. Конечно это только одни из самых основных применении.
+
+### grep
+
+Это последняя программа-фильтр, о которой я расскажу. Я покажу самое основное
+применение данной программы, а затем, после того как расскажу о регулярных
+выражений, покажу ее более интересные применения.
+
+grep - программа, которая выполняет поиск выражения переданный ей
+пользователем, и выводит на экран строки, совпадавщие с условиями поиска.
+Допустим, например, что мы хотим увидить только крутые (cool) мемы
+
+```sh
+user@host:~/Documents/notes$ grep 'cool' sample.txt
+Pepe    cool
+Uganda Knuckles cool
+Thanos  coolcharacter
+Bowsette    cool
+Harold  cool
+Sans    coolest
+NPC cool
+```
+
+То, что мы передали grep'у является самым простым видом регулярного выражения.
+По факту мы указали программе чтобы нам показала строки где содержится
+подстрока "cool".
+
+## Регулярные выражения
+
+Регулярное выражение - язык поиска и манипуляции подстроками в тексте. Для
+поиска используется строка текста, часто называемая строка-образец или
+"шаблон", состоящая из символов, которые задают правило поиска. Регулярные
+выражения применяются в многих программах и языках программирования, таких как
+например редакторов текста и поисков, и естественно, может быть довольно
+полезным в терминале.
+
+### Антракт
+
+Перед тем как объяснить как работать с регулярными выражениями, хочу показать
+пару символов, облегчающие жизнь при работе с файлами в терминале -
+символы-джокеры (на англ. wildcards). В терминале они - звездочка (*) и
+вопросительный знак (?). Как раз из-за их специального применения, их нельзя
+использовать в названиях файлов.
+
+Начнем со звездочки. Звездочка озночает что на ее месте может быть любое
+количество любых символов. Например, чтобы искать файлы, чье название
+начинается с sa
+
+```sh
+user@host:~/Documents/notes$ ls sa*
+saturday.txt sample.txt sample2.txt sample.png
+```
+
+Другой пример, найти файлы чье название просто содержит подстроку sa
+
+```sh
+user@host:~/Documents/notes$ ls *sa*
+asado.png saturday.txt sample.txt sample2.txt sample.png
+```
+
+Вопросительный знак указывает на то что, на его месте должен быть символ, любой
+символ. Допустим что, мы хотим посмотреть все файлы которые называются sample,
+у которых есть трех-символьное расширение
+
+```sh
+user@host:~/Documents/notes$ ls sample.???
+sample.txt sample.png
+```
+
+Символы-джокеры очень полезные когда необходимо манипулировать несколько файлов
+с похожими названиями. Однако, если названия файлов не похоже никак, нам
+придется использовать фигурные скобки, чтобы указать список файлов. Например
+
+```sh
+user@host:~/Documents/notes$ rm {monday.txt,december1999.txt,saturday.txt}
+```
+
+### Обратно к regex
+
+А теперь я объясню основные части и символы регулярных выражении, а затем вам
+покажу как их использовать в grep
+
+* `.` - Точка означает один символ (любой символ). Например, 'be.r' найдет нам
+  bear, beer, befr, и т.д.
+* `*` - Предыдущий элемент совпадает 0 или больше раз. Например 'an*t' нам
+  найдет at, ant, annt, annnt, и т.д.
+* `+` - Предыдущий элемент совпадает один или больше раз. Например 'an+t' нам
+  найдет ant, annt, annt, и т.д.
+* `?` - Предыдущий элемент совпадает 0 или один раз. Например 'an?t' нам найдет
+  at и ant.
+* `{n}` - Предыдущий элемент совпадает ровно n раз.
+* `{min, }` - Предыдущий элемент совпадает хотя бы min раз
+* `{min, max}` - Предыдущий элемент совпадает хотя бы min раз и не больше max
+  раз.
+* `|` - Логический оператор ИЛИ. Например, 'gray|grey' нам найдет gray и grey.
+* `()` - Круглые скобки группируют несколько символов в один элемент. Например
+  'gr(a|e)y' нам найдет gray и grey.
+* `[abc]` - Совпадает если один из символов, который внутри скобок,
+  присуствует.
+* `[^abc]` - Совпадает если нет ни одного, из которых внутри скобок.
+* `[a-d]` - Диапазон символов. То есть a, b, c и/или d.
+* `^` - Начало строки.
+* `$` - Конец строки.
+
+А теперь, ради примера с grep, допустим что, мы хотим найти все строки в
+которых содержится "cool" или "ok" в них. В этом случае нам нужна вертикальная
+черта "|". Однако, если использовать grep без параметров, нам нужно будет
+напечатать слеш перед ней "\|". Поэтому лучше использовать команду egrep,
+которая является сокращением "grep -E", затем чтобы включить расширенные
+регулярные выражения. Например
+
+```sh
+user@host:~/Documents/notes$ egrep 'cool|ok' sample.txt
+Pepe    cool
+Uganda Knuckles cool
+Thanos  cool
+JPEG    ok
+Bowsette    cool
+Harold  cool
+Sans    coolest
+NPC cool
+```
+
+А теперь допустим что, нам неоюходимо найти все строки с буквой 't' в качестве
+последнего символа в строке
+
+```sh
+user@host:~/Documents/notes$ egrep 't$' sample.txt
+Sans    coolest
+Minions lamest
+```
+
+Я уже продемонстрировал применение regex'ов с grep'ом (и/или egrep). А теперь я
+хочу вам показать более практический пример с sed'ом. Да, в sed'e помимо
+собственного языка, можно еще и регулярные выражения использовать.
+
+Допустим у нас есть файл который выглядит следующим образом
+
+```sh
+user@host:~/Documents/notes$ cat shortcuts
+# Some shortcuts
+
+d       ~/Documents
+D       ~/Downloads
+m       ~/Music
+pp      ~/Pictures
+vv      ~/Videos
+
+
+s       ~/.scripts # My scripts
+cf      ~/.config # My configs
+```
+
+Как вы могли заметить, в нашем файле много пустых строк, и много комментарри,
+которые полезные для человека, но бесполезные для компьютера. Начнем с того
+что, удалим комментарии, для этого мы будем использовать команду sed'а для
+поиска и замены, только в нашем случае мы хотим заменить комментарии на
+пустоту. Затем нам понадобится вставить регулярное выражение, которое поможет
+нам найти комментарии - '#.*'. Этот шаблон переводится как - найди символ '#' и
+все что после него находится. А теперь давайте мы все совместим
+
+```sh
+user@host:~/Documents/notes$ sed 's/#.*//g' shortcuts
+
+
+d       ~/Documents
+D       ~/Downloads
+m       ~/Music
+pp      ~/Pictures
+vv      ~/Videos
+
+
+s       ~/.scripts
+cf      ~/.config
+```
+
+Вот и мы избавились от комментариев. Тем не менее нам еще осталось избавится от
+пустых строк, и если вы заметили, комментарии были удалены, но перед некоторыми
+из них остались пробелы.
+
+И так, давайте мы сначала улучшим нашу команду, для этого нам нужно найти там
+где есть 0 или больще пробелов перед комментарии, но как нам обозначит пробелы
+в sed'е? Все очень просто с '\s', таким образом наша команда а теперь выглядет
+вот так 's/\s*#.*//g'.
+
+А теперь нам нужно избавится от пустых строк. ДЛя этого нам нужно ввести еще
+одну команду sed'а, но мы можем ее ввести вместе с предыдущей командой
+отделяя их точкой и запетой (;). Нам осталось придумать как найти пустую
+строку, все очень просто - '^$', то есть, найти ту строку где ее начало и ее
+конец находятся вместе. Нам осталось указать sed чтобы он удалил эту строку, и
+вот я вам расскажу еще одну команду sed - команду для удаления (d), и так...
+
+```sh
+user@host:~/Documents/notes$ sed 's/\s*#.*//g; /^$/d' shortcuts
+d       ~/Documents
+D       ~/Downloads
+m       ~/Music
+pp      ~/Pictures
+vv      ~/Videos
+s       ~/.scripts
+cf      ~/.config
+```
+
+Конечно, когда мы вводим эту команду, она не переписывает файл, она всего лишь
+выводит на экран результат операции. Если вам необходимо переписать исходный
+файл вы можете передать sed параметр '-i.
+
+### Конвейер и перенаправление
+
+Последнее о чем я буду писать в этом туториале не команда и не программа, но
+очень полезная вещь, которая есть во всех Unix и Unix-подобных системах -
+конвейер. Конвейер - это цепочка перенаправляющая вывод процесса или процессов
+в стандартный ввод других проццессов. В том числе есть и операторы которые
+позволяют перенаправлять вывод программы в файл и наоборот.
+
+### Перенаправление в и из файлов
+
+Допустим что мы хотим повторить последний пример, но в этот раз мы хотим
+записать результат в файл. Мы уже знаем как переписать оригинальный файл, но в
+этот раз мы хотим записать результат в новый файл. Для этого нам понадобяться
+операторы перенаправления Unix'а '>' и '>>'. Первый оператор переписывает файл,
+если указанный файл уже существует, а второй просто добавляет поток текста в
+конец файла. В этом случае безралично какой из этих операторов использовать,
+ибо мы хотим записать поток текста на новый файл
+
+```sh
+user@host:~/Documents/notes$ sed 's/\s*#.*//g; /^$/d' shortcuts > shortcuts_clean
+```
+
+Так же существует оператор перенаправления ИЗ файла в стандартный ввод
+программы - '<'. Однако, в большинство случаях достаточно передать путь файла в
+качестве аргумента.
+
+### Конвейер
+
+А теперь я вам покажу как перенаправить вывод одной программы в другую. Чтобы
+перенаправить вывод из одной программы в другую, достаточно ввести команду
+первой программы, затем ввести вертикальную черту (|), а затем команду второй
+программы. Допустим мы хотим увидит первые три файлы в нашей директории, для
+этого мы можем направить вывод ls в head, вот так
+
+```sh
+user@host:~/Documents/notes$ ls | head -n 3
+asado.png
+monday.txt
+sample.txt
+```
+
+А теперь вернемся к файлу sample.txt. Допустим что сначала мы хотим
+отсортировать все строки файла, и хотим оставить только те строки с "cool" и
+"lame". Затем, мы хотим заменить неправильные старые термины, на современные,
+то есть "cool" на "dank" и "lame" на "normie". И наконец, мы хотим это
+сохранить в файл. И вот как все это выгладит
+
+```sh
+user@host:~/Documents/notes$ egrep 'cool|lame' sample.txt | sort | sed 's/cool/dank/g;s/lame/normie/g' > memes.txt
+```
+
+Взглядываем в файл и...
+
+```sh
+user@host:~/Documents/notes$ cat memes.txt
+Bowsette    dank
+Despacito   normie
+Harold  dank
+Minions normiest
+NPC dank
+Pepe    dank
+Sans    dankest
+Thanos  dank
+Tide Pods   normie
+Uganda Knuckles dank
+```
+
+И вот и все
+
+## Post scriptum
+
+Перед тем как закончить с этим туториалом, я хочу вам показать еще несколько
+программ, которые могут вам пригодится
+
+### less
+
+Данная команда вам пригодится когда, например, некоторая программа выводит
+слишком много текста. В таком случае, достаточно перенаправить вывод текста
+первой программы к less используя оператор конвейера (|), также как я вам
+только что показал. Используя эту команду вы можете листать текст используя
+стрелочки или vim-клавиши (hjkl). Так же вы можете искать термины введя слеш
+(/).
+
+### tar
+
+Это de facto официальная программа Линукса для архивирования и сжатия файлов в
+формате .tar. Чаще всего используется формат сжатия gunzip (.gz), но есть и
+другие форматы сжатия.
+
+Есть два основных способов использовать эту программу. Первый чтобы
+разархивировать
+
+```sh
+user@host:~/Documents/notes$ tar -xzvf oldnotes.tar.gz
+```
+
+Второй чтобы архивировать и сжать
+
+```sh
+user@host:~/Documents/notes$ tar -czvf allnotes.tar.gz *
+```
+
+Как обычно, вы можете узнать больше об этой программе используя утилиту man
+('man tar').
+
+### ssh and scp
+
+Скорее всего вы уже слышали или даже работали с ssh, даже если вы не работали
+до этого с Ликусом или Unix/Unix-подобных системах. Это программа позволяет
+подключится через терминал к другим компьютером через сеть (например,
+интернет), в том числе и к серверам.
+
+Допустим вы хотите подключится к серверу с ip 180.80.8.20 и пользователь tux
+
+```sh
+user@host:~$ ssh tux@180.80.8.20
+```
+
+Здесь мы предпологаем что мы подключаемся через стандартный порт ssh (22), иначе
+придется его передать используя параметр -p а затем номер порта.
+
+А теперь поговорим о scp. Это программа позволяет передать файлы из одного
+компьютера в другого используя протокол ssh'а. Допустим что мы хотим отправить
+файл с локального компьютер в тот же самый сервер, что и в прошлом примере
+
+```sh
+user@host:~$ scp somefile tux@180.80.8.20:/home/tux/directory/
+```
+
+Если бы мы хотели наоборот, получить, а не отправить, то мы просто поменяли
+порядок аргументов, примерно вот так
+
+```sh
+user@host:~$ scp tux@180.80.8.20:/home/tux/directory/somefile directory/
+```
+
+Так же как и с ssh порт по умолчанию 22, то есть если использовать другой порт,
+нужно его указать, только в отличие от ssh, параметр -P вместо -p и нужно его
+ввести сразу после "scp.
+
+
+Вот и на этом все. Надеюсь вам этот туториал помог. С наступившим 2019.