*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

クラウド型スクリーンショット Gyazo(3)

前回の記事「クラウド型スクリーンショット Gyazo(2)」の続きです。 キャプチャするとこう

記事を読む

外付型ハードディスク 2TB

I-O DATA 東芝対応 USB 2.0/1.1接続 外付型ハードディスク 2TB

記事を読む

Linux の利点

Linux の利点 をまとめてみました。 * 動作が軽い 古いパソコンでサクサク動く。

記事を読む

簡単なホームページ作成ソフト(続き)

【上位版】次世代型サイト作成システム「SIRIUS」 忙しくてなかなかいじれません。 昨

記事を読む

Citrix すぐ切れる

職場で使っている NEC の PC で Citrix がしょっちゅう切れます。 Citrix

記事を読む

DELL Photo 966 安くてきれいなプリンタ

私の書斎で愛用している DELL のプリンタ DELL Photo 966 です。 Win

記事を読む

USB 簡易電圧・電流チェッカー / 普通の人は不要だけど

ルートアール USB 簡易電圧・電流チェッカー VA同時表示・充電最適化回路内蔵

記事を読む

DELL PRECISION 490 様ご到着

* QuadroFX 4500 のついたワークステーション DELL PRECISION

記事を読む

日本語変換の単語登録 品詞の設定

パソコンの日本語辞書のユーザー辞書に単語を登録するときに品詞を正しく設定していない人が多いです。

記事を読む

最近ネットがよく落ちる

* 高槻遠隔画像診断センターで使っているメインマシンですが、よく通信が途切れます。 ほかのマ

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

Gemini Spark 使ってみた

Gemini Spark が使えるようになって、しばらく無視していまし

そのほかの予想分配金提示型ファンド 8月の配当

まだ8月半ばですが、月の前半に予想分配金提示型ファンド(毎月配当)の配

次世代通信関連 世界株式戦略ファンド 愛称 The5G について

次世代通信関連 世界株式戦略ファンド(愛称 The5G)には 通常型と

次世代通信関連 世界株式戦略ファンド(予想分配金提示型) 8月の配当

毎月配当の超高配当ファンド「次世代通信関連 世界株式戦略ファンド(予想

私の遠隔画像診断(2)

昨日の記事「私の遠隔画像診断」の続きです。 会社請けの医療施

→もっと見る

  • 2026年8月
     12
    3456789
    10111213141516
    17181920212223
    24252627282930
    31  
  • アクセスカウンター
PAGE TOP ↑