Сравнение словников

Rachtyrgin · августа 16, 2012, 19:41

Цитата: Bhudh от августа 16, 2012, 19:10
Сущность File чем не мила?

Я все сущности люблю. Кроме, разве что, массивов. Вопрос только в том, что можно делать с сущностью file? Открыть, прочитать, записать, закрыть?

Bhudh · августа 16, 2012, 20:05

Так а и зачем нужно сохранять (сиречь дублировать) весь файл, если он уже в зубах? Для сравнения две переменных всего нужно

.

Тайльнемер · августа 16, 2012, 20:08

Rachtyrgin, ну что же вы?
Файлы можно открыть и читать построчно. Массивы и другие подобные вещи нам вообще не нужны. Просто читаем очередную строку из того файла, в котором последняя строка была меньше, и сравниваем последние строки обоих файлов. И так пока не прочитаем всё.

Вот на C#:

Код Выделить

using(var file1 = new StreamReader(args[0], true))
using(var file2 = new StreamReader(args[1], true))
  {
  string s1 = file1.ReadLine();
  string s2 = file2.ReadLine();
  
  while(s1 != null || s2 != null)
    {
    if(s2 == null || s1.CompareTo(s2) < 0)
      {
      Console.WriteLine("- {0}", s1);
      s1 = file1.ReadLine();
      }
    else if(s1 == null || s2.CompareTo(s1) < 0)
      {
      Console.WriteLine("+ {0}", s2);
      s2 = file2.ReadLine();
      }
    else
      {
      s1 = file1.ReadLine();
      s2 = file2.ReadLine();
      }
    }
  }

Может, можно как-то и покрасивше написать, я не старался.

Rachtyrgin · августа 16, 2012, 20:24

О, но ведь это ответ на мой вопрос о сущностях! Я действительно забыл упомянуть о Stringах. Я, правда, программирую на яве, но ваш синтаксис мне, в принципе, понятен. За исключением одной детали - все-таки на консоль (в вашем случае) будут выведены слова из файла Ушаков, которых нет в файле Ожегов? Кодер нам это запретил...

Bhudh · августа 16, 2012, 20:26

Никто не мешает поставить ifʼы как на плюсы, так и на минусы, чтобы выводить по заказу.
Можно и чекбоксов навтыкать.

Python · августа 16, 2012, 20:35

Цитата: Rachtyrgin от августа 16, 2012, 19:01
И еще, пожалуйста, уточните, в какие сущности вы предполагаете считывать файлы - Set, List, Array?

Ленивые последовательности для такой задачи идеально подойдут, ІМНО.
Ща попробую сформулировать на кложуре.

Rachtyrgin · августа 16, 2012, 20:37

Наконец пришел Питон. Щас он нас разрулит...

Python · августа 16, 2012, 21:22

Код Выделить


(use 'clojure.java.io)
(defn join-sorted [f1 f2]
(lazy-seq
	(let[w1 (or (first f1) ["" ""])
	     w2 (or (first f2) ["" ""])
	     cmpres (compare (w1 1) (w2 1))]
		 
	(cond 	(= "" (w1 1) (w2 1)) nil
		(= (w2 1) "")	f1
		(= (w1 1) "")	f2
		(= cmpres 0) (join-sorted (rest f1) (rest f2))
		(< cmpres 0) (cons w1 (join-sorted (rest f1) f2))
		(> cmpres 0) (cons w2 (join-sorted f1 (rest f2)))		
))))
			
(->> (join-sorted 
	(->>(reader "ozhegov.txt") 
	     line-seq
	     (map #(vector "+" %)))
	(->>(reader "ushakov.txt") 
	     line-seq
	     (map #(vector "-" %)))
     (map #(println (% 0) (% 1)))
     dorun)

Программа для Clojure.
Данные берутся из ozhegov.txt и ushakov.txt, результат — через стандартный вывод. Входные файлы должны содержать отсортированные списки слов без повторов.

Rachtyrgin · августа 16, 2012, 21:26

Ну что ж, это то, о чем я говорил. Входные файлы должны быть пропущены через Set. А язык ваш хорош...

Python · августа 16, 2012, 22:07

ЦитироватьВходные файлы должны быть пропущены через Set.

Есть утилитка uniq, убирающая повторы соседних строк. Либо можно в той же программе на кложуре добавить удаление одинаковых соседних элементов в каждой последовательности:

(->> (reader "ozhegov.txt")
line-seq
(reductions #(if (not= %1 %2) %2) nil)
(filter #(do %))
(map #(vector "+" %)))
и аналогично с ушаковым

Еще возможны проблемы с сортировкой из-за буквы ё, если она используется в словарях. Если сравнивать по юникодовским кодам (а программа будет использовать именно их), Ё идет вообще после Я (или перед а, если брать строчную ё) — список слов должен быть отсортирован соответствующим образом, иначе мы получим неправильный результат из-за разного порядка сортировки. В словаре же она, скорее всего, будет приравнена к Е (но в самой программе такой способ сравнения использовать нельзя: так она ошибочно примет за одинаковые слова ВСЕ и ВСЁ и под., что может испортить результат).

Python · августа 17, 2012, 10:54

Цитата: Python от августа 16, 2012, 22:07
Либо можно в той же программе на кложуре добавить удаление одинаковых соседних элементов в каждой последовательности:

(->> (reader "ozhegov.txt")
line-seq
(reductions #(if (not= %1 %2) %2) nil)
(filter #(do %))
(map #(vector "+" %)))
и аналогично с ушаковым

Это будет работать с удвоением строк, но на нечетных количествах (3, 5 и т.д.) будут повторы. Исправляюсь:
(->> (reader "ozhegov.txt")
line-seq
(reductions #(if (or (not= %1 %2) (= [] %1)) [%2]) [])
(apply concat)
(map #(vector "+" %)))

Python · августа 17, 2012, 11:51

Извиняюсь, но снова не то. Еще исправление:
(->> (reader "ozhegov.txt")
line-seq
(reductions #(if (and (not= %1 %2) (not= %1 nil)) [%2]))
(apply concat)
(map #(vector "+" %)))

Alone Coder · августа 17, 2012, 14:58

Буква А:
У Ушакова это первые 1269 статей из 88366 (1.4%).
У Ожегова это первые 916 статей из 41111 (2.2%).
237 + 11 (изменивших написание) + 13 (заменённых) слов ушли внутрь статей + 3 только в толкования и примеры.
Наоборот, из статей вышло 22 новых слова.
Кроме того, добавлено 213 + 9 (на замену старых) слов.
Убрано 266 + 9 (заменены на новые) слов.

Написание изменили:
на новое:
*АББАТИССА>АББАТИСА
*АДЭКВАТНЫЙ>АДЕКВАТНЫЙ
*АКУРАТ>АККУРАТ
*АНАРХОСИНДИКАЛИЗМ>АНАРХО-СИНДИКАЛИЗМ
на основной вариант:
*АВИА/авио>АВИА
*АЛЛО/АЛО>АЛЛО
*ОРАВА/АРАВА>ОРАВА
*АРЬЕРГАРД/АРИЕРГАРД>АРЬЕРГАРД
на неосновной вариант:
*АБЕРАЦИЯ/АБЕРРАЦИЯ>АБЕРРАЦИЯ
*АБРЕВИАТУРА/АБРЕВИАЦИЯ>АББРЕВИАТУРА
*АЗБЕСТ/АСБЕСТ>АСБЕСТ
*АЗБЕСТОВЫЙ/АСБЕСТОВЫЙ>асбестовый (в ст. "асбест")
*АКЛИМАТИЗИРОВАТЬ/АККЛИМАТИЗИРОВАТЬ>АККЛИМАТИЗИРОВАТЬ
*АКЛИМАТИЗИРОВАТЬСЯ/АККЛИМАТИЗИРОВАТЬСЯ>АККЛИМАТИЗИРОВАТЬСЯ
*АКОМОДАЦИЯ/АККОМОДАЦИЯ>АККОМОДАЦИЯ
*АКОМОДАЦИОННЫЙ/АККОМОДАЦИОННЫЙ>аккомодационный (в ст. "аккомодация")
*АКОМПАНЕМЕНТ/АККОМПАНЕМЕНТ>АККОМПАНЕМЕНТ
*АКОМПАНИАТОР/АККОМПАНИАТОР>АККОМПАНИАТОР
*АКОМПАНИАТОРША/АККОМПАНИАТОРША>аккомпаниаторша (в ст. "аккомпаниатор")
*АКОМПАНИРОВАТЬ/АККОМПАНИРОВАТЬ>АККОМПАНИРОВАТЬ
*АКОРД/АККОРД>АККОРД
*АКОРДНЫЙ/АККОРДНЫЙ>АККОРДНЫЙ
*АКРЕДИТИВ/АККРЕДИТИВ>АККРЕДИТИВ
*АКРЕДИТИВНЫЙ/АККРЕДИТИВНЫЙ>аккредитивный (в ст. "аккредитив")
*АКРЕДИТОВАННЫЙ/АККРЕДИТОВАННЫЙ>аккредитованный (в ст. "аккредитовать")
*АКРЕДИТОВАТЬ/АККРЕДИТОВАТЬ>АККРЕДИТОВАТЬ
*АКЛИМАТИЗАЦИОННЫЙ/АККЛИМАТИЗАЦИОННЫЙ>акклиматизационный (в ст. "акклиматизировать")
*АКЛИМАТИЗАЦИЯ/АККЛИМАТИЗАЦИЯ>акклиматизация (в ст. "акклиматизировать")
*АКУРАТНЫЙ/АККУРАТНЫЙ>АККУРАТНЫЙ
*АКУРАТНО/АККУРАТНО>аккуратно (в ст. "аккуратный")
*АКУРАТНОСТЬ/АККУРАТНОСТЬ>аккуратность (в ст. "аккуратный")
*АКСЕСУАР/АКСЕССУАР>АКСЕССУАР
*АЛИГАТОР/АЛЛИГАТОР>АЛЛИГАТОР
*АПАРАТ/АППАРАТ>АППАРАТ
*АПАРАТУРА/АППАРАТУРА>АППАРАТУРА
*АПАРАТЧИК/АППАРАТЧИК>АППАРАТЧИК
*АПЕНДИКС/АППЕНДИКС>АППЕНДИКС
*АПЕНДИЦИТ/АППЕНДИЦИТ>АППЕНДИЦИТ
*АПЕРЦЕПЦИЯ/АППЕРЦЕПЦИЯ>АППЕРЦЕПЦИЯ
*АПЕТИТ/АППЕТИТ>АППЕТИТ
*АПЕТИТНЫЙ/АППЕТИТНЫЙ>АППЕТИТНЫЙ
*АПЛИКАЦИЯ/АППЛИКАЦИЯ>АППЛИКАЦИЯ
*АСИГНАЦИЯ/АССИГНАЦИЯ>АССИГНАЦИЯ
*АСИГНОВАННЫЙ/АССИГНОВАННЫЙ>ассигнованный (в ст. "ассигновать")
*АСИГНОВАТЬ/АССИГНОВАТЬ>АССИГНОВАТЬ
*АСАМБЛЕЯ/АССАМБЛЕЯ>АССАМБЛЕЯ
*АСЕНИЗАЦИОННЫЙ/АССЕНИЗАЦИОННЫЙ>ассенизационный (в ст. "ассенизация")
*АСЕНИЗАТОР/АССЕНИЗАТОР>АССЕНИЗАТОР
*АСЕНИЗАЦИЯ/АССЕНИЗАЦИЯ>АССЕНИЗАЦИЯ
*АСОРТИМЕНТ/АССОРТИМЕНТ>АССОРТИМЕНТ
*АТЕСТАТ/АТТЕСТАТ>АТТЕСТАТ
*АТЕСТОВАТЬ/АТТЕСТОВАТЬ>АТТЕСТОВАТЬ
*АТРАКЦИОН>АТТРАКЦИОН
*АФЕКТ/АФФЕКТ>АФФЕКТ
*АФЕКТАЦИЯ/АФФЕКТАЦИЯ>АФФЕКТАЦИЯ
*АФЕКТИРОВАННЫЙ/АФФЕКТИРОВАННЫЙ>АФФЕКТИРОВАННЫЙ

Заменены слова:
на новые:
!АБОНЕНТНЫЙ>абонентский (в ст. "абонент")
!АВАНЗАЛА>АВАНЗАЛ
!АВАНТЮРИСТСКИЙ>АВАНТЮРИСТИЧНЫЙ
!АЭРОПОЧТА>АВИАПОЧТА
!АВТЕНТИЧЕСКИЙ/АВТЕНТИЧНЫЙ>АУТЕНТИЧНЫЙ
!АРНАУТКА>АЛБАНЦЫ
!АМИКОШОНСТВО>беспардонность (в ст. "беспардонный")
!АМОРАЛИЗМ>АМОРАЛКА
!ГАЛЬВАНОМЕТР>АМПЕРМЕТР (гальванометр осталось в ст. "гальвано")
на старые:
!АНОРМАЛЬНЫЙ>аномальный (в ст. "аномалия" значение не указано, но у Ушакова в "анормальный" пример на совр. значение слова "аномальный", которого раньше не было)
!АНТИК>АНТИКВАРИАТ (изменено значение слова "антиквариат")
изменён основной вариант:
!АВИАМАТКА/АВИАНОСЕЦ>АВИАНОСЕЦ
!АВТОЖИР/АВТОГИР/ВЕРТОЛЁТ>ВЕРТОЛЁТ
!АДРЕСАНТ/ОТПРАВИТЕЛЬ>ОТПРАВИТЕЛЬ
!АКВАМАРИННЫЙ/АКВАМАРИНОВЫЙ>АКВАМАРИНОВЫЙ
!АКВАРИЙ/АКВАРИУМ>АКВАРИУМ
!АКРОБАТИЧНОСТЬ/АКРОБАТИЗМ>АКРОБАТИЗМ
!АНТИМОНИЙ/АНТИМОНИЯ>АНТИМОНИЯ
!АНТИСЕМИТИЧЕСКИЙ/АНТИСЕМИТСКИЙ>антисемитский (в ст. "антисемит" и "антисемитизм")
!АРАБЕСК/АРАБЕСКА>АРАБЕСКА
!АРИТМИЧНОСТЬ/АРИТМИЯ>АРИТМИЯ - NB р вместо рр
!АРМЯЧНЫЙ/АРМЯЖНЫЙ>армячный (в ст. "армяк")
!АЭРОЛИТ/МЕТЕОРИТ/МЕТЕОРОЛИТ>МЕТЕОРИТ
убраны неосновные варианты:
!ЧЕРКЕСЫ/АДЕХ>ЧЕРКЕСЫ
!САМОУЧКА/АВТОДИДАКТ>САМОУЧКА
!АВТОХТОНЫ/АУТОХТОНЫ>АВТОХТОНЫ
!АКРОБАТИЧЕСКИЙ/АКРОБАТИЧНЫЙ>акробатический (в ст. "акробатика")
!АКТРИСА/АКТЁРКА>АКТРИСА
!КОРАН/АЛКОРАН>КОРАН
!АЛОЭ/АЛОЙ>АЛОЭ
!БЕЛОК/АЛЬБУМИН>БЕЛОК
!ЗАЛОЖНИК/АМАНАТ>ЗАЛОЖНИК
!ЛЮБИТЕЛЬ/АМАТЁР>ЛЮБИТЕЛЬ
!ЛЮБИТЕЛЬНИЦА/АМАТЁРКА>любительница (в ст. "любитель")
!ЭМБАРГО/АМБАРГО>ЭМБАРГО
!АМБРОЗИЯ/АМВРОЗИЯ>АМБРОЗИЯ
!БЕСПАРДОННЫЙ/АМИКОШОНСКИЙ>БЕСПАРДОННЫЙ
!АММИАК/АММОНИАК>АММИАК
!АНТИКВАР/АНТИКВАРИЙ>АНТИКВАР
!АНТИНОМИЧЕСКИЙ/АНТИНОМИЧНЫЙ>антиномический (в ст. "антиномия")
!ПРЕДВОСХИЩЕНИЕ/АНТИЦИПАЦИЯ>предвосхищение (в ст. "предвосхитить")
!ПРЕДВОСХИТИТЬ/АНТИЦИПИРОВАТЬ>ПРЕДВОСХИТИТЬ
!ЧЕЛОВЕКООБРАЗНЫЙ/АНТРОПОМОРФНЫЙ>ЧЕЛОВЕКООБРАЗНЫЙ
!ЛЮДОЕД/КАННИБАЛ/АНТРОПОФАГ>ЛЮДОЕД/КАННИБАЛ
!ЛЮДОЕДСТВО/КАННИБАЛИЗМ/АНТРОПОФАГИЯ>ЛЮДОЕДСТВО
!АНТРАША/АНТРША>АНТРАША
!БАСНЯ/БАСНЬ/АПОЛОГ>БАСНЯ
!БАСЕННЫЙ/АПОЛОГИЧЕСКИЙ>БАСЕННЫЙ
!АПОПЛЕКСИЧЕСКИЙ/АПОПЛЕКТИЧЕСКИЙ>АПОПЛЕКСИЧЕСКИЙ (в ст. "апоплексия")
!АПРИОРНЫЙ/АПРИОРИСТИЧЕСКИЙ>АПРИОРНЫЙ
!АСИГНОВАНИЕ/АССИГНОВАНИЕ/АСИГНОВКА/АССИГНОВКА>ассигнование (в ст. "ассигновать")
!УДУШЬЕ/АСФИКСИЯ>УДУШЬЕ
!ОТАРА/АТАРА>ОТАРА
!АТЛАСНЫЙ/АТЛАСИСТЫЙ>АТЛАСНЫЙ (в ст. "атлас")
!АУТОДАФЕ/АВТОДАФЕ>АУТОДАФЕ
изменено название гнезда:
!АВГИЕВЫ>АВГИЕВ
!АДЕНОИД>АДЕНОИДЫ
!АЗИАТ>АЗИАТЫ
!АМЕРИКАНЕЦ>АМЕРИКАНЦЫ
!АМУР>АМУРЫ
!АННИБАЛОВА>АННИБАЛОВ
!АНТИЛОПА>АНТИЛОПЫ
!АНЮТИНЫ>АНЮТИН
!АПАРТАМЕНТ>АПАРТАМЕНТЫ
!АРИАДНИНА>АРИАДНИН

Alone Coder · августа 17, 2012, 14:59

Новые слова:
взяты из примеров и толкований (22):
+АБИССИНЦЫ (у Ушакова было в толковании ст. "эфиоп")
+АБХАЗСКИЙ (у Ушакова было в примере к ст. "гибрид" и в толковании к ст. "лазы")
+АВСТРАЛИЙСКИЙ (у Ушакова было в толкованиях с Б)
+АВТОМАШИНА (у Ушакова было в толкованиях с М)
+АГИТПУНКТ (у Ушакова было в примерах к ст. "агит")
+АГНОСТИК (у Ушакова было в примерах с О)
+АДЫГЕЙСКИЙ (у Ушакова было в толкованиях с А)
+АДЫГЕЙЦЫ (у Ушакова было в толковании к ст. "черкесы")
+АЗБУКА (??? было "азбучка", "азбучный", а "азбука" только в толкованиях с А)
+АЗЕРБАЙДЖАНСКИЙ (у Ушакова было в толкованиях с Т)
+АЗЕРБАЙДЖАНЦЫ (у Ушакова было в толкованиях с Т)
+АЛЕУТЫ (было в толковании к ст. "индейцы")
+АЛЖИРСКИЙ (у Ушакова было в толкованиях с З)
+АЛЖИРЦЫ (у Ушакова было "туземцы-алжирцы" в ст. "тюркос")
+АЛКАЛОИДЫ (у Ушакова было в толкованиях с К)
+АЛЛИЛУЙЯ (было "аллилуия" в ст. "алилуйщик/аллилуйщик" и "аллилуйя" в примерах с Л)
+АНАРХИЧНЫЙ (у Ушакова было "анархичен" в ст. "анархический", которое тоже осталось)
+АНАХРОНИЧНЫЙ (у Ушакова было "анахроничен" в ст. "анахронический", которое тоже осталось)
+АССИРИЙЦЫ (было в толкованиях с К)
+АФГАНЦЫ (у Ушакова было в толковании к ст. "иранцы")
+АФРИКАНЦЫ (было "африканец" в толковании к ст. "африканский")
+АЭРОФОТОСЪЁМКА (было в ст. "аэрофото")
совсем новые (213):

Spoiler ⇓⇓⇓

Alone Coder · августа 17, 2012, 14:59

Убраны слова:
остались в примерах и толкованиях (3):
-АДАМ (осталось в толкованиях)
-АНГОРСКИЙ (осталось в примере к ст. "кошка" и в толковании к ст. "мохер")
-АНТИОБЩЕСТВЕННЫЙ (!!! осталось в толкованиях к ст. "порядочность" и "сброд")
убраны полностью (266):

Spoiler ⇓⇓⇓

Alone Coder · августа 17, 2012, 19:34

Слов "ажно", "анаша", "аперитив", "апитерапия", "аура" нет в 9-м издании. Похоже, это творчество Шведовой. Она же убрала слово "аспирин".

autolyk · августа 17, 2012, 19:45

Цитата: Alone Coder от августа 17, 2012, 19:34
Она же убрала слово "аспирин".

Это заговор, инфа 146%.

Alone Coder · августа 27, 2012, 11:15

Предложите способы определить объём словника толковательной части (без примеров и без вторых-третьих слов в гнёздах)!
Хотя бы приблизительно.

Лингвофорум

Сравнение словников

Rachtyrgin

Bhudh

Тайльнемер

Rachtyrgin

Bhudh

Python

Rachtyrgin

Python

Rachtyrgin

Python

Python

Python

Alone Coder

Alone Coder

Alone Coder

Alone Coder

autolyk

Alone Coder

Быстрый ответ