*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

Google の リサーチアシスタント NotebookLM

Google の リサーチアシスタントAI である NotebookLM をご存じでしょうか。

記事を読む

本日逝ったディスクについて・ハードディスクの故障

地井武男のようにあっけなく急に逝ってしまったハードディスク・・・ * ちょっと油断してバック

記事を読む

BUFFALO 有線ブロードバンドルーターBHR-4GRV

BUFFALO 有線ブロードバンドルーター リモートアクセス&Gig

記事を読む

Puppy Linux 5.7.1J ライブ起動の利点

パピーリナックス 571JP を試用した記事( Puppy Linux 5.7.1J ライブ

記事を読む

LG 23型ワイド IPSパネル/ホワイトLED BLU採用液晶ディスプレイ (4)

LG 23型ワイド IPSパネル/ホワイトLED BLU採用液晶ディスプレイ (

記事を読む

Western Digital HDD WD80JD 3台セットのご到着

* Western Digital HDD WD80JD の3台セットを 780円で落札してい

記事を読む

【ヤフオク】Mate MK32MB-F(Core i5-3470 メモリ4GB HDD250GB DVDマルチ Windows10Pro 64bit)中古デスクトップ 落札

この前落札した Core i3-3220 は 3500円でしたが、これは 4000円で落札で

記事を読む

LXLE 12.04.3 とお別れ

* Ubuntu ベース(+LXDE)で使いやすい Linux の LXLE ですが、ibus

記事を読む

4画面同時出力できるグラフィックボード

GALAXY グラフィックカード GF MDT QUAD GRAPHICS DV

記事を読む

Zorin9 出た え? Windows9 も?

Linux 関係のニュースサイト Ditrowatch をチェックしたら、ついに待望の Zori

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

無題その1

人間の目が最も感度がいい色は黄色。 なぜ? たぶんこれは太陽の

あっちのゴルカン

昨日、「Tracers MSCIオール・カントリー・ゴールドプラス」に

新しい事務所が欲しい

近々、高槻の事務所を閉めることになりそうで、自宅の近くに新たに事務所を

蛍光灯売ってた

FL20型の蛍光灯は2027年末までに製造・輸出入が禁止されます。

日経平均、S&P500 ともに下落中

イラン戦争のおかげさまで、日経平均、S&P500 ともに下落中

→もっと見る

  • アクセスカウンター
PAGE TOP ↑