*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

プリンタ HP ENVY 5542 半死

年賀状を刷り始めた途端に、プリンタ HP ENVY 5542 が半死状態に。 A4 などの紙に

記事を読む

Acer ディスプレイ EB321HQUBbmidphx とってもキレイ

Acer モニター ディスプレイ EB321HQUBbmidphx 31.5イン

記事を読む

スマホは嫌い

本日はカミサンの iPhone の機種変更について行きました。契約者本人なもので。 iPhon

記事を読む

SAPPHIRE HD6450 1G DDR3 PCI-E HDMI/DVI-D/VGA

SAPPHIRE HD6450 1G DDR3 PCI-E HDMI/DVI-D

記事を読む

中古HDD をセットで落札

ヤフオクで、500GB 日立製 HDD 中古動作品 3個を 4710円+送料で落札。

記事を読む

プリンタ

2011.3.24(木)  本日、高槻遠隔画像診断センター用にもう1台プリンタを買おうと思って

記事を読む

無停電電源装置

* 本日高槻遠隔画像診断センターでまたブレーカーが落ちました。 一つの部屋であとからエアコン

記事を読む

SPD SSD 512GB 購入

【スーパーSALE限定特価】SPD SSD 512GB 【5

記事を読む

【ヤフオク】NEC Mate MK33LE-E と MK33LB-D 落札&受け取り

最近ヤフオクで落札した中古PCのリストです。 昨日の記事「【ヤフオク】NEC Mate

記事を読む

Windows7 での Readyboost

readyboost とは 昔、XP でもこういうユーティリティがあったと記憶しますが、USB メ

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

にしきや スパイシートマトビーフカレー 180g

ニシキヤキッチンのインドカレーシリーズ「にしきや スパイシートマト

Catchy(キャッチー)について

「Catchy(キャッチー)」を薦めている人(ライターさん)がいました

2026-6-15 高配当投資信託の乗り換え

いやあ、昨日はすごかった。 イラン戦争締結の憶測から、日本、米国の両

SUNO で作曲してみた

SUNO という音楽生成 AI で 初めて日本語歌詞付きの音楽を作曲し

高槻遠隔画像診断センターお引越し

いよいよ引っ越し当日。 始発電車で高槻へ。 寝過ごしてはいかん

→もっと見る

  • アクセスカウンター
PAGE TOP ↑