*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

Seagate製HDD Barracuda 2000GB(ST2000DM001)調べてみた

レグザで使っていて一昨日壊れた外付けドライブの中身のハードディスクは、Seagate製の Bar

記事を読む

Celeron847 Dual Core搭載マザーボード Windows8を正式サポート NM70-I

ECS Intel Atomの後継モデル Intel C847 Dual Cor

記事を読む

玄人志向 2.5型 SSD HDD ケース GW2.5-KRU3

玄人志向ブランドから出ている USB3.2Gen.1 接続に対応した外付けドライブケース。

記事を読む

HDD 2TB が安くなっている!

Seagate Barracuda 7200シリーズ 3.5inch SAT

記事を読む

【ヤフオク】Gateway SX2370-A44D/TF A6-3600 ジャンク 落札

2000円+送料で落札。 「BIOSの設定を変更することができました。 」とのこと。H

記事を読む

DELL OPTIPEX740 デュアルコア4050e 1G 80GB マルチDVD 落札

OPTIPLEX 740 不調品です。CPU:AMD Athlon X2 Dual-Core

記事を読む

おしゃれなブック型コンピュータ Paper

⇒ http://gigazine.net/news/20130124-apc-paper-

記事を読む

ADATA製 SSD 256GB ASP600S3-256GM-C

ADATA SSD 256GB 2.5インチ SATA3 6Gb/s MLC採用

記事を読む

ORICO 2.5インチ HDD / SSD ケース USB3.0 ハードディスクケース

透明のかっこいい 2.5インチ HDD / SSD ケースです。 USB と SATA と

記事を読む

液晶モニタ W2253V 突然死

* 朝起きてうちの仕事場のメインのディスプレィの LG製 W2253V をオンしようとしま

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

そのほかの予想分配金提示型ファンド 8月の配当

まだ8月半ばですが、月の前半に予想分配金提示型ファンド(毎月配当)の配

次世代通信関連 世界株式戦略ファンド 愛称 The5G について

次世代通信関連 世界株式戦略ファンド(愛称 The5G)には 通常型と

次世代通信関連 世界株式戦略ファンド(予想分配金提示型) 8月の配当

毎月配当の超高配当ファンド「次世代通信関連 世界株式戦略ファンド(予想

私の遠隔画像診断(2)

昨日の記事「私の遠隔画像診断」の続きです。 会社請けの医療施

私の遠隔画像診断

現在遠隔画像診断に従事して 36年くらいになります。 最初は

→もっと見る

  • 2026年8月
     12
    3456789
    10111213141516
    17181920212223
    24252627282930
    31  
  • アクセスカウンター
PAGE TOP ↑