Private Proxy Tools [купить доступ]:
Proxy Checker [old] | Proxy Checker [new] | Url Proxy Parser | Multi Proxy Parser
Alive Proxy List (URL, ip:port\n) (~ http/s>=1000, socks4/5>=100) | Proxy List Proxy Statistics (Online)
Free Socks 4/5 (Alive) | Proxy Gear Pro (Proxy Combine: checker, parser, grabber)

 



Информация по хайдам / репутации

Продажа качественные RDP (дедиков) по низким цена. Все страны мира. Оптом от 1.5$
Все инфопродукты и приватная информация бесплатно

Вернуться   Proxy-Base Community - Анонимность и заработок в интернете. Бесплатные прокси листы, прокси для серфинга. Прокси вконтакте. SOCKS 4, SOCKS 5, Free fresh proxy list, USA proxy, Proxy tools. > Dedicated Servers - Дедики Брут дедиков и их использование / IM (интернет мессенджеры) / Email > IM (интернет мессенджеры) > ICQ > Дополнительные утилиты

Ответ
 
LinkBack Опции темы Поиск в этой теме Опции просмотра
Старый 27.05.2009, 01:25   #1 (permalink)
Proxy-Base.Org Team
 
Регистрация: 19.05.2009
Сообщений: 961
Member ID: 147

Репутация: 2371
Репутация: 2371
Сказал(а) спасибо: 894
Поблагодарили 2,053 раз(а) в 713 сообщениях
Топикстартер (автор темы) По умолчанию Программы, удаляющие дубликаты строк

bvsDupDelet
v. 0.2.4.24
автор: TorBel

Код:
http://vizbe.net.ru/img/bvsDupDelet.PNG

Описание:
Программа создаёт файл на основе исходного путём сортировки строк исходного файла и удаления дубликатов строк с учётом регистра, лидирующих и замыкающих пробелов и/или символов табуляции.
При нажатии кнопки Stay on top - программа всегда будет отображаться поверх всех окон.

bvsDupDelet.rar

Duplicat Remover by Teso
v. 1.3.0.0
автор: Teso


Описание:
  • Удаление дублей
  • Разбивка
  • Сортировка
  • Единовременная обработка более чем одного файла
  • Поддержка Drag and Drop - "перетаскивание"
  • Поддерживает параметры командной строки (можно указать список файлов которые при запуске будут обработаны или выделить пачку файлов и перетащить на иконку с приложением)
  • С кириллицей не работает

Duplicat Remover by Teso.rar

Fast Duplicates Remover
v0.1
автор: M0nty


Описание:

Консольная программа.
1-ый способ: перетаскиваем файл в консольное окно и удаляем кавычки из пути к файлу. Жмём Enter.
2-ой способ: закидываем файл в папку с программой и пишем название файла (обязательно вместе с форматом файла) в консольном окне. Жмём Enter.
На выходе получаем файл Out.txt

Fast Duplicates Remover.rar

naRedup
автор: .avolver


Описание:
Плюсы:
  • быстрая работа
  • удобное GUI
  • сортировка выходного файла по алфавиту
  • добавление файлов Drag&Drop'ом - "перетаскивание"
Минусы:
  • сортировку не отключить
  • добавленный файл не убрать из списка на обработку
  • вылет при попытке выйти из программы, во время работы
  • программа не работает с бинарными файлами
Virustotal: click

naRedup.rar

DupKill
v. 0.2.4.24
автор: SPYDER


Описание:
Удаляет повторы строк в текстовом файле, в то же время сортирует список по алфавиту. Также есть функция удалить повторы и оригиналом.

DupKill.rar

DicTool
v. 1.1
автор: astako


Описание:
Основные функции программы - это работа со словарями, но она также удаляет дубликаты.
  • Обрезать слова до указанной длины
  • Слово в нижний регистр (abcd)
  • Слово в верхний регистр (ABCD)
  • Первая буква слова в верхний регистр (A***)
  • Первая буква слова в нижний регистр (a***)
  • Чередовать регистры (AbCd, aBcD)
  • Удаление дубликатов без сортировки.

DicTool.rar

Для удаление дубликатов прокси можно также использовать FP4m от NemeZz
hide вне форума   Ответить с цитированием
24 пользователя(ей) сказали cпасибо:
Старый 24.06.2010, 08:31   #2 (permalink)
HTTP
 
Регистрация: 18.06.2010
Адрес: Пермь
Сообщений: 1
Member ID: 8190
ICQ 235846782

Репутация: 0
Репутация: 0
Сказал(а) спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
По умолчанию Re: Программы, удаляющие дубликаты строк

Попробуйте также программу АвтоФормат. Одной из её функций является удаление дубликатов. Строки при этом не сортируются. Хотя отдельной функцией можно и отсортировать.
Моторокер вне форума   Ответить с цитированием
Старый 22.01.2011, 21:23   #3 (permalink)
VPN
 
Аватар для kekc
 
Регистрация: 11.05.2009
Адрес: 05
Сообщений: 1,408
Member ID: 8
ICQ 12400042

Репутация: 1421
Репутация: 1421
Сказал(а) спасибо: 1,275
Поблагодарили 1,346 раз(а) в 714 сообщениях
По умолчанию Re: Программы, удаляющие дубликаты строк


Сортировка
Удаление дубликатов
Сортирует список по алфавиту (Удалить)
Вложения
Тип файла: zip Программа.zip (206.0 Кб, 176 просмотров)
kekc вне форума   Ответить с цитированием
3 пользователя(ей) сказали cпасибо:
Старый 22.01.2011, 22:30   #4 (permalink)
SOCKS5
 
Аватар для Radzhab
 
Регистрация: 16.08.2009
Сообщений: 215
Member ID: 2173
ICQ 29755555

Репутация: 278
Репутация: 278
Сказал(а) спасибо: 153
Поблагодарили 248 раз(а) в 145 сообщениях
По умолчанию Re: Программы, удаляющие дубликаты строк

открывет-сортирует-удаляет дупликаты
Спасибо DDM за алгоритм
Вложения
Тип файла: rar Project1.rar (160.7 Кб, 130 просмотров)

Последний раз редактировалось Radzhab; 22.01.2011 в 22:36.
Radzhab вне форума   Ответить с цитированием
4 пользователя(ей) сказали cпасибо:
Старый 25.02.2011, 23:44   #5 (permalink)
HTTP
 
Регистрация: 08.12.2010
Сообщений: 15
Member ID: 10612
ICQ 581581229

Репутация: 44
Репутация: 44
Сказал(а) спасибо: 8
Поблагодарили 32 раз(а) в 8 сообщениях
По умолчанию Re: Программы, удаляющие дубликаты строк

Radzhab, прогу на делфи накодил?
можно исходники для развития начинающего поколнеия?
kaktus вне форума   Ответить с цитированием
Старый 26.02.2011, 08:37   #6 (permalink)
SOCKS5
 
Аватар для Radzhab
 
Регистрация: 16.08.2009
Сообщений: 215
Member ID: 2173
ICQ 29755555

Репутация: 278
Репутация: 278
Сказал(а) спасибо: 153
Поблагодарили 248 раз(а) в 145 сообщениях
По умолчанию Re: Программы, удаляющие дубликаты строк

kaktus, исходники ушли вместе с виндой, а так там алгоритм несложный. Спроси у КЕКСа . У него аналогичная прога
Radzhab вне форума   Ответить с цитированием
Старый 09.02.2012, 21:28   #7 (permalink)
HTTP/S
 
Регистрация: 25.09.2011
Сообщений: 44
Member ID: 19229

Репутация: 9
Репутация: 9
Сказал(а) спасибо: 10
Поблагодарили 3 раз(а) в 1 сообщении
По умолчанию Re: Программы, удаляющие дубликаты строк

DupliFind

Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 5 очко(ов) репутации(ий)):
У вас нет прав чтобы видеть скрытый текст, содержащейся здесь.
c0sm0s вне форума   Ответить с цитированием
Старый 17.06.2012, 22:15   #8 (permalink)
SOCKS5
 
Аватар для doctor-x
 
Регистрация: 02.05.2011
Адрес: /system32
Сообщений: 272
Member ID: 14219

Репутация: 783
Репутация: 783
Сказал(а) спасибо: 7
Поблагодарили 261 раз(а) в 138 сообщениях
По умолчанию Re: Программы, удаляющие дубликаты строк

Код:
http://www.rusdocs.com/wp-content/uploads/2008/05/text-duplicate-killer.gif

Код:
Text Duplicate Killer – программа, предназначенная для удаления из текста повторяющихся строк (не обязательно смежных). В результате создается новый текстовый файл, в котором каждая строка встречается только один раз.

Как найти дубликаты
1. У Вас должен быть готов файл формата ASCII, содержащий текст, в котором Вы хотите удалить дублирующиеся строки. Если Вам нужно обработать текст из файлов DOC или RTF, то экспортируйте его в ASCII.

2. После запуска утилиты tdk.exe выберите пункт меню Файл|Открыть исходный файл и укажите файл, в котором необходимо удалить дубликаты.

3. Затем с помощью пункта меню Файл|Задать целевой файл укажите имя нового файла. В этот файл утилита поместит обработанный текст, который уже не будет содержать дубликатов. Вы можете автоматически создать новое имя. Для этого нажмите кнопку с “волшебной палочкой”.

4. Для запуска процесса поиска и удаления дубликатов выберите пункт меню Операции|Убрать дубликаты!. В любой момент Вы можете прервать работу, нажав на кнопку Стоп, находящуюся в правом нижнем углу. При большом объеме текста обработка может занять некоторое время.

Имя целевого файла
Имя целевого файла можно создать автоматически, нажав на кнопку “волшебная палочка”. В автоматически созданном имени кодируются некоторые настройки.

Ниже приведены примеры:

Имя исходного файла: test.txt

Варианты автоматически создаваемого имени целевого файла:
test.txt.no_dupes_w_i.txt – конец строки формата Windows (CR/LF), игнорировать регистр
test.txt.no_dupes_u_i.txt – конец строки формата Unix (LF), игнорировать регистр
test.txt.no_dupes_w.txt – конец строки формата Windows (CR/LF), не игнорировать регистр
test.txt.no_dupes_u.txt – конец строки формата Unix (LF), не игнорировать регистр

Внимание! В случае, если файл с целевым именем уже существует, он перезапишется без запроса.

Допустимые форматы файлов
Text Duplicate Killer корректно обрабатывает только текстовые файлы формата ASCII.

Чтобы обработать документы Microsoft Word и прочие файлы, имеющие сложную структуру, необходимо экспортировать их в формат ASCII.

Обработка любых двоичных файлов также недопустима.

Параметры командной строки
Формат параметров командной строки:

tdk.exe [/teol=w|u] [/ic+|-] [/ios+|-] [/h=1|2|3|4|5|6] [/so=desc|asc]
[/s=none|char|len|loc] [/in=] [/out=] | [/?]

Описание параметров:

/teol=w – установить для целевого файла конец строки в Windows-формате (#13#10)
/teol=u – установить для целевого файла конец строки в Unix-формате (#10)

/ic+ – игнорировать регистр (только для латинских букв!)
/ic- – учитывать регистр (только для латинских букв!)

/ios+ - игнорировать обрамляющие пробелы
/ios- – учитывать обрамляющие пробелы

/h=X – установить “степень” хеширования равной X символам. X = 1..6

/so=desc – установить для сортировки обратный порядок/по убыванию
/so=asc – установить для сортировки прямой порядок/по возрастанию

/s=none – без сортировки целевого текста
/s=loc – сортировка по национальному алфавиту
/s=char – сортировка по кодам символов
/s=len – сортировка по длине строки

/in= – имя исходного файла (ASCII)
/out= – имя нового файла. TDK создает этот файл на основе source, исключая повторяющиеся строки

/? - вывести справку по программе

Примеры:

tdk /in=file1.txt /out=file2.txt – удалить дубликаты из файла file1.txt и записать уникальные строки в файл file2.txt, используя текущие настройки программы.

tdk /ic+ /ios+ /so=asc /s=char /in=file1.txt /out=file2.txt

Примечания:

При запуске с параметрами
- если какой-либо параметр не указан, то используется его интерфейсная установка (см. файл tdk.ini)
- утилита автоматически начнет обработку и запись нового текста, а по завершении работы – закроется
- если исходный файл слишком большой, то найденные дубликаты не отображаются

Параметры нечувствительны к регистру.
Параметры должны отделяться друг от друга как минимум одним пробелом!
Не используйте пробелы в именах файлов
Настройки, установленные с помощью параметров командной строки, запоминаются.

Меню
Меню / Файл
Открыть исходный файл – Позволяет выбрать исходный файл (формата ASCII).
Задать целевой файл – Позволяет указать имя целевого файла, в который будут записываться уникальные строки из исходного файла. Тип конца строки (Unix/Windows) в целевом файле можно указать в опциях.

Меню / Вид
Хэш-данные – Эта опция позволяет включить отображение специфических сведений, например, скорость обработки.
Найденные дубликаты – Данная опция позволяет включить отображение окна с экземплярами найденных дубликатов. Например, если в тексте будет найдено 10 дубликатов одной строки, то каждый экземпляр добавиться в это окно. При обработке больших текстов рекомендуется отключать отображение этого окна, поскольку найденные дубликаты могут переполнить оперативную память.

Меню / Опции
Целевой EOL = CR/LF (Windows) – Установить в целевом файле конец строки как CR/LF.
Целевой EOL = LF (Unix) – Установить в целевом файле конец строки как LF.

Игнорировать регистр (латиница) – Данная опция указывает, что регистр латинских букв не учитывается. В этом случае, например, строки String, string и STRING будут рассматриваться как дубликаты.
Игнорировать ведущие и конечные пробелы – При сравнении строк не учитываются “обрамляющие” пробелы. Например, при включенной опции, строки “текст” и ” текст ” будут считаться дубликатами. Внимание: в целевом тексте пробелы не отсекаются!

Без сортировки целевого текста – Строки целевого текста не сортируются.
Сортировка по национальному алфавиту – Сортировка национальных символов происходит с учетом настроек языка в операционной системе Windows.
Сортировка по кодам символов - Сортировка основана на кодах символов (Latin-1, т.е. расширенный 8-битный ASCII-код).
Сортировка по длине строки – Строки сортируются по длине (включая пробелы).

Сортировать в прямом порядке/по возрастанию – В зависимости от выбранного типа сортировки опция указывает либо на прямой алфавитный порядок, либо на возрастающий порядок кодов или длины строки.
Сортировать в обратном порядке/по убыванию – Аналогично предыдущей опции.

Хэшировать по N символов - Сколько первых символов использовать для хэширования. Данная настройка важна только в том случае, если вы обрабатываете очень большие файлы, не помещающиеся в оперативную память. Хэш-индекс основан на ASCII-коде, поэтому при хэшировании по одному символу максимальное количество сегментов равно 255. При использовании двух символов количество сегментов становится равным 65536. Так как программа “скидывает” сегменты на жесткий диск, то увеличение количества сегментов может существенно снизить требования к оперативной памяти, хотя нагрузка на дисковую систему увелчивается (и скорость работы соответственно). Если вам понадобилось изменить эту настройку, то определить нужное значение можно экспериментально, но учтите, что для разных текстов эффективность обработки может сильно различаться. По умолчанию установлено 3 символа – это некий компромисс между скоростью работы и требованиями к ОЗУ.

Установить первоначальные настройки – Команда устанавливает “заводские” настройки (в том числе положение и размер формы). 
TDK
__________________

doctor-x вне форума   Ответить с цитированием
Старый 25.03.2013, 11:32   #9 (permalink)
HTTP/S
 
Аватар для kroŧ
 
Регистрация: 14.01.2010
Сообщений: 68
Member ID: 5845

Репутация: 87
Репутация: 87
Сказал(а) спасибо: 24
Поблагодарили 45 раз(а) в 22 сообщениях
По умолчанию Re: Программы, удаляющие дубликаты строк

TextDup by CyberKrot
Программа для удаления дубликатов в файлах.
Особенности программ:
1) Не создаёт лишних файлов.
2) Не сортирует.
3) Позволяет выбрать существующий файл для сохранения, удаляет дубликаты с проверкой всех строк в этом файле.
4) Отсутствует графический интерфейс позволяющий наблюдать за процессом удаления дубликатов, в конце своей работы выводит сообщение с результатом и предложением открыть новый файл.

Работает по принципу взять строку и сравнить со всеми строками файла.
Вложения
Тип файла: zip TextDup by CyberKrot.zip (1.3 Кб, 18 просмотров)
kroŧ вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Ответ

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Trackbacks are Вкл.
Pingbacks are Вкл.
Refbacks are Вкл.





DDoS Protected

Рейтинг@Mail.ru

службы мониторинга серверов

Мы в твиттере, Proxy-Base.Org Twitter

Proxy-Base Community - Сообщество по анонимности в сети. Анонимность и заработок в интернете.
Наши партнеры: Prankota.Com, CRC Labs, SEO-Crack.Com, Garsuk.Com, SED Team, Skladchik.com, BSS Family

Powered by vBulletin® | Булка сделана в пекарне®
Copyright © 2000 - , Jelsoft Enterprises Ltd. Перевод: zCarot
Вся информация на сайте выложена исключительно в ознакомительных целях.