*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

本日逝ったディスクについて・ハードディスクの故障

地井武男のようにあっけなく急に逝ってしまったハードディスク・・・ * ちょっと油断してバック

記事を読む

no image

マルチディスプレイ簡単な方法

ELSA ビデオカードELSA NVIDIA Quadro NVS420 ENVS420-5

記事を読む

PATA ハードディスクのチェック(2)

SANWA SUPPLY IDE/SATA-USB変換ケーブル 0.72m US

記事を読む

悲報? Pear OS が消滅?

Pear OS 8[/caption] Pear OS がプロジェクトごと消滅 元ネタ> Pe

記事を読む

PHILIPS 242E2F/11 23.8型ワイド液晶ディスプレイ 5年間フル保証(フルHD/ DP/ HDMI/ D-Sub)

★★★★☆ フィリップスの PC用液晶モニタです。 エッジ幅(ベゼル)が小さいた

記事を読む

BSジャパンが映らない

昨日、PT3 カードの設定を終えたのですが、一つ最後まで解決できない問題が残りました。 BS

記事を読む

Dimension1100 復活

Dimension1100[/caption] 以前、2号マシン(デジタル放送録画用

記事を読む

Coreserver が遅い

 最近、このブログ(WordPress)を動作させているレンタルサーバー Coreserver

記事を読む

SDDD3-256G-G46 256GB SanDisk サンディスク USBメモリー Ultra Dual Drive m3.0(Android対応) USB3.0対応

最近はデータの一時バックアップ用に USBメモリーを複数個使っています(永久保存はブルーレイ

記事を読む

Windows10 久々クラッシュ

本日、急いでいたのに Windows10 が久々クラッシュ。 この PC は自宅でメインで使っ

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

【FX】MetaTrader4 build 1470 の不具合

MetaTrader4 build 1470 の不具合については以前も

投資商品乗り換え完了

ようやく2月くらいから始めた 投資信託+日本株の入れ替えが完了しました

SMT米国株式モメンタムファンド始めました

SMT米国株式モメンタムファンド(愛称:トレンドランキング・米国株)と

よい子悪い子普通の子

以下のチャートは「これ買って放置しておけばみんなお金持ちになれる」と好

元祖スタミナ満点らーめん すず鬼監修 スタ満まぜそば

ファミリーマートで売っている冷凍食品はだいたい制覇しているが、

→もっと見る

  • アクセスカウンター
PAGE TOP ↑