AWK によるデータ処理(2)

これから出てくる awk プログラムは長いものが多くなります。長いプログラムはファイルに作成して実行しましょう。

AWK による計算

BEGIN と END をうまく使うと、欄の合計などの計算をおこなうことができます。

数え上げ

次のプログラムは 15時間以上働いた従業員を数えるのに、変数 emp を使っています。

$3 > 15 { emp = emp + 1 }
END { print emp, "employees worked more than 15 hours." }

3つ目の欄が 15を越えるような行を読み込むたびに、それまでの emp の値をひとつ増やしています。数値として使用される awk の変数は、最初に値 0 から始まります。したがって、 emp を初期化する必要はありません。

上の awk プログラムを m15.awk という名前で作成しておき、以下のように実行します。
sw%99 awk -f m15.awk emp.dat 
3 employees worked more than 15 hours.
以下、同様に awk プログラムファイルの作成と実行を練習して下さい。

和と平均の計算

従業員の数を数えるのに、それまで読み込んだ行数が入る組み込み変数 NR を利用できます。

    { pay = pay + $2 * $3 }
END { print NR, "employees";
      print "total pay is",pay;
      print "average pay is",pay/NR;
    }

というプログラムは、賃金の合計を pay に加算していきますから、最後に、従業員の数と合計賃金、平均賃金を表示することになります。一つのアクション内に複数の命令(式)を書くときは ; (セミコロン)で区切ります。上の print の例では必ずしも必要ではありませんが、習慣として入れておいた方がよいでしょう。

文章の操作

Awk では、数値だけでなく文字列を変数にいれることもできます。

$2 > max { max = $2; who = $1 }
END { print "Highest hourly rate:", max, "for", who }

文字列の連接

文字列をつなぎ合わせて、新しい文字列を作ることもできます。この文字操作を連接と呼びます。

    { names = names $1 " " }
END { print names }

最後の行の表示

組み込み変数 NR は END の実行時にも値を保持していますが、 $0はそうではありません。次のプログラムは最後の入力行だけを表示します。

    { last = $0 }
END { print last }

全部まとめて処理

上の処理をまとめて一つの awk ファイルに書くこともできます。

BEGIN { print "*** Employee Statistics ***" }

$3 > 15 { emp = emp + 1 }
    { pay = pay + $2 * $3 }
$2 > max { max = $2; who = $1 }
    { names = names $1 " " }
    { last = $0 }

END { 
      print "Employee list:", names;
      print NR, "employees";
      print emp, "employees worked more than 15 hours." ;
      print "total pay is",pay;
      print "average pay is",pay/NR;
      print "Highest hourly rate:", max, "for", who ;
      print "Who was the last:",last;
    }

入力区切り子の変更

Awk を起動する際に -F オプションを使うか、組み込み変数 FS を使うことで、入力の欄区切りを表す文字を変更することができます。例えば、awk -F: ... や {FS = ":"} のように指定すると入力の欄区切り子が：に変わります。

システム固有のユーザ(root や lp など裏方の仕事をするようになっています) は /etc/passwd に定義されています。このファイルでの各項目は：で区切られていますから、

sw99%  awk -F: '$1 == "root" {print $5}' /etc/passwd

とすれば、 root さんの本名が出てきます。ネットワーク情報システム NIS+ に登録されたユーザの場合は別のコマンドでユーザ情報のリストを表示することができます。（但し、 awk を使わなくても、 finger コマンドを使えば本名やその他の情報が表示されます。）

以上のほかにも、 awk は組み込み関数や、 if-else文、 while文、 for文などを使った複雑な計算やプログラム制御をおこなうことができます。これらの詳細については、 C言語を学んだ後で参考書「プログラミング言語AWK」エイホ・カーニハン・ワインバーガー著・足立訳（トッパン・ 3,400円）を読むことを勧めます。

練習問題

すべての入力行の欄の総数を表示するにはどうしたらよいでしょう？（ヒント：欄の数は NF に入っています。）
最後の行の最後の欄を表示するにはどうしたらよいでしょう？
前回の授業で作成した acc.dat から、分類が in の金額を合計して表示しなさい。(変数名に in を使うと「予約語」のためエラーになります)
acc.dat から分類が eat, other の金額をそれぞれ合計して表示しなさい。
acc.dat から、１週間の収支(手元に残った金額)を計算して表示しなさい。

上の問題の 3,4,5 を同時に行う awk プログラムを作成し、授業担当者へメールで送信しなさい。(添付は使わず、コピー＆ペーストしてください。)

awk を使った難しい例題もあります。