Bash output 討論 >file 2>&1 與 2>&1 > file 的差異

本篇文章用來記錄 Bash 常見幾個關於輸出導向的幾種用法，包含

"> file"
">file 2>&1 v.s 2>&1 >file"
"| (pipe)"

基本概念

對於系統操作者來說，STDIN, STDOUT 以及 STDERR 這三個專有名詞想必都不陌生，這些對於普通的程序來說都對應到其內部的三個 file descriptor，分別是 0,1,2

實務上於程序內去對本地開啟檔案等操作，都會產生新的 file descriptor，沒有意外的話就會是以 3,4,5....一路遞增的方式來處理。而內建的 0,1,2 預設情況下並非指向任何檔案，反而是 /dev/tty，這意味你的應用程式可以從 tty 透過 stdin 將資料送給程序，反之其可以透過 stdout, STDERR 將輸出按照不同類型透過 /dev/tty 給輸出。

這邊先行準備一個腳本，該腳本內容如下

#!/bin/bash
echo "Hello stdout"
echo "Hello stderr" 1>&2

其會將 "Hello stdout" 輸出到 STDOUT，並且將 "Hello stderr" 給輸出到 STDERR 接下來的範例都會以該檔案為示範使用執行範例如下

bash-3.2$ bash test.sh
Hello stdout
Hello stderr

因此以預設的情況下，關係圖如下

探討

Case 1

所有學習 Linux 指令操作的一定都會學習到若要將檔案輸出給導向檔案，就可以透過 ">" 來指定檔案名稱，譬如 "pwd > my_test"，實際上就是執行 pwd 這個指令，並且將 "STDOUT" 的內容給導向 "my_test"。

前面有提到 STDOUT 與 STDERR 分別對應的是數字是 1 與 2，因此使用時若加上數字 "2> my_test"，代表的就是將 STDERR 的內容導向檔案

接下來 test.sh 來練習看看

bash-3.2$ bash test.sh > haha
Hello stderr
bash-3.2$ cat haha
Hello stdout

上述範例將 "STDOUT" 給導向 "haha" 這個檔案，所以可以看到執行完畢後， "Hello stderr" 的部分依然透過 "stderr" 輸出到 /dev/tty ，而 "Hello stdout" 則被寫到檔案內。整個概念圖如下

此時若嘗試使用 "2>" 的格式的話，結果剛好反過來

bash-3.2$ bash test.sh 2> haha2
Hello stdout
bash-3.2$ cat haha2
Hello stderr

檔案的輸出本身是可以一起使用的，譬如下列範例

bash-3.2$ bash test.sh > haha 2> haha2
bash-3.2$ cat haha
Hello stdout
bash-3.2$ cat haha2
Hello stderr

除了各別輸出到檔案之外，也可以參照別的 file descriptor 的目標舉例來說，可以透過 "2>&1" 讓 STDERR 的輸出送往 stdout 的輸出由於 "2>1" 的意思是將 "STDERR 給輸出到檔案 1"，因此這邊要特別加上 "&1" 代表是參照 "STDOUT"，而非檔案

整個概念如下，但是由於當前輸出都是 /dev/tty，因此使用上可能沒有特別感覺

bash-3.2$ bash test.sh 1>&2
Hello stdout
Hello stderr

Case2

對於 STDOUT, STDERR 有基本理解後，接下來一個很常見的需求就是將 STDOUT 與 STDERR 寫入同一個檔案，其邏輯就是

將 stdout 與 stderr 的輸出集中
將集中後的結果輸出到檔案中

因此常見的解法就是 "> file 2>&1" 以及不正確的用法 "2>&1 > file" 兩者看起來非常相似，但是背後的運作邏輯不同，接下來就來看看為什麼前者正確而後者失敗

首先以前者 "> file 2>&1" 來看，這個邏輯可以拆成兩個部分

file => 將 STDOUT 的輸出寫到檔案
2>&1 => 將 STDERR 的輸出寫到 STDOUT 的輸入

流程如下所以最終就可以將 STDOUT 與 STDERR 一起寫入到檔案中

那如果改成下列流程 "2 >&1 > file"，則邏輯可以拆分成

2>&1 => 將 STDERR 的輸出寫到 STDOUT 的輸出點
file => 將 STDOUT 的輸出寫道檔案

整個流程如下，因此最後只有 STDOUT 的內容被寫到檔案中

另外一個比較簡單的寫法 "&> file" 則可以達到一樣的效果，將 STDOUT 與 STDERR 一起寫入到檔案中

bash-3.2$ bash test.sh &> qq
bash-3.2$ cat qq
Hello stdout
Hello stderr

Case3

使用指令時非常容易搭配 |(pipe) 的概念將指令給串連起來，而 | 的基本概念就是將 "當前指令的 STDOUT" 給導向下一個指令的 "STDIN"，如下列流程

以下範例就是單純將 STDOUT 給導向 grep 指令，然而 STDERR 還是輸出到 /dev/tty

bash-3.2$ bash test.sh | grep haha
Hello stderr

如果需要將 STDERR 的內容也透過 pipe 轉送的話，其概念與寫入檔案類似，需要

將 STDERR 送往 STDOUT
將下個指令的 STDIN 與當前指令的 STDOUT 串起來

bash-3.2$ bash test.sh 2>&1 | grep xxx
bash-3.2$ bash test.sh 2>&1 | grep err
Hello stderr

Summary

本篇文章稍微記錄一下 bash 中常見的導向功能，只要熟悉原理後就不需要去死背要如何將 STDERR 與 STDOUT 給導向同一個檔案的用法，同時對於各種需求都比較有辦法仔細思考達成的方式。

基本概念

探討

Case 1​

Case2

Case3

Summary

Case 1