*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

1/29 センターのネット回線がおかしい

たまにしか発生しませんが、センターのネット回線のエラーの話。 今朝 9AM、異常に回線が遅いこ

記事を読む

メーカーリファービッシュ品のハードディスク買ってみた

HDD 4TB 東芝 MD04ACA400N-512 128

記事を読む

DELL Optiplex740 またゲット

  * またヤフオクでゲット。2200円。 CPU:Athlon64X2 3

記事を読む

アースソフトPT3 設定完了

PT3 Rev.A アースソフト 売り上げランキング : 5719 Amazo

記事を読む

DELL DIMENSION 9200 3台めゲットだぜ

* OS:win Vista(ライセンスのみ) 状態:起動不能・電源入らず その他

記事を読む

Philips モニター ディスプレイ 236E7EDAB/11 (23インチ/IPS/フルHD/MHL対応/5年保証)

Philips モニター ディスプレイ 236E7EDAB/11 (23インチ/IP

記事を読む

【AI】Perplexityという検索特化の AI

Perplexity という検索特化の AI があります。 きちんと根拠(出典)を示してくれる

記事を読む

Nuro光申し込み

うちのマンションは古いので、光フレッツ回線は電話用のメタル線を使った VDSL 方式になってしまい、

記事を読む

OZZIO MX35332SDS スタンバイほぼ完了

OZZIO(オッジオ)というあの悪評高い PC DEPOT のブランドのマシン。ヤフオクで落

記事を読む

壊れる前のバックアップ(2) WD20EZRXのアライメント問題

【Amazon.co.jp限定】WD Green 3.5inch Intelli

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

【FX】ダブルトップ&ダブルボトムを判別するインジケーター

ダブルトップ&ダブルボトムを判別するインジケーターを MT4 用で作り

AXI Select 順調?

本日、プロップファームの AXI Select の なかなか上がらなか

Antigravity で遊ぶ(2)

Codex もいじっていますが、やはり Google の AI エージ

最短で最大の成果を上げるAIアウトプットの全技法 / 上岡正明

★★★★☆(これだけでいいのか) Lilys AI による要

海面の高さが現在より約15m上がると千葉県は島になる

以前、Youtube でシミュレーションを見たのですが、

→もっと見る

  • 2026年7月
     12345
    6789101112
    13141516171819
    20212223242526
    2728293031  
  • アクセスカウンター
PAGE TOP ↑