*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

Optiplex755 その後

* Optiplex の筐体はサイズの違いで 4種類あり、これが一番小さな(89×263×

記事を読む

Windows10 で Google日本語変換が止まる

Windows10 にアップグレードした PC で Google日本語変換の途中で止まるのです。

記事を読む

すべてのOSで使える無料オフィス Libre Office

Libre Office を構成する 6つのソフト Windows、MacIntosh、Lin

記事を読む

mepis という OS

* mepis という Linux ディストリビューションがあります。 現在は有料に移行したよう

記事を読む

IODATA HDCR-U2.0 の中身

I-O DATA 東芝対応 USB 2.0/1.1接続 外付型ハードディスク 2

記事を読む

Windows7 ノートパソコン 激安

* わくわくPC という中古パソコンショップが 楽天市場にありますが、結構安い。 上のバ

記事を読む

理系と文系のハナシ Macintosh の好き嫌い

先日の「パソコンの故障 おそらくメモリの接触不良」という記事で書きました. 文系の人はメモ

記事を読む

久々にヤフオクでPC2台ゲット

* Precision や Optiplex ばかりを狙って入札していたが、最近なかなか落とせ

記事を読む

Greathtek GHT-S7415H USB3.0 KVMスイッチ HDMI 4入力1出力

Greathteek という会社の KVMスイッチ(USB3.0 HDMI 4入力1出力)で

記事を読む

自宅メインパソコンHDDが壊れた(2)

「自宅メインパソコンHDDが壊れた」 の続きです。 結局20時間以上かかってハードディスクのコ

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

【FX】AXI Select インキュベーションステージ最初の報酬

ひさびさに プロップファームの AXI Select のお話です。

イシバの功績

高市総理がすごい成果を上げている。 マスコミはなぜトランプを非難

米国債20年超プレミアムインカムETF(453A)

また面白い高配当ETF を見つけました。米国債20年超プレミアムインカ

WCM 世界成長株厳選ファンド(予想分配金提示型)【愛称】ネクスト・ジェネレーション(2)

以前紹介した「WCM 世界成長株厳選ファンド(予想分配金提示型)【愛称

静かな森?

Stillwood という Youtube チャンネルがあります。>

→もっと見る

  • 2026年5月
     123
    45678910
    11121314151617
    18192021222324
    25262728293031
  • アクセスカウンター
PAGE TOP ↑