Лингвофорум

Команда разработчиков Google предположила, что созданный ими искусственный интеллект изобрел собственный секретный язык.

В сентябре 2016 года разработчики запустили систему машинного перевода на основе нейронных сетей (Neural Machine Translation) для обучения различным языкам.

Вскоре Google задался вопросом: если обучить систему переводу с английского на корейский (и обратно), затем с английского на японский (и обратно), получится ли у неё переводить с корейского на японский без английского языка как посредника? К удивлению создателей, искусственный интеллект с задачей справился.


После этой странности разработчики предположили, что ИИ самостоятельно создал уникальный язык-посредник. Учёные посмотрели на связи различных предложений в пространстве памяти нейронной сети и подтвердили догадку.

Сейчас о «тайном» языке известно мало: внутренние процессы нейронных сетей крайне сложно увидеть и описать. Однако один факт создания искусственным интеллектом особого глубинного языка-посредника – большой прорыв.

Любопытно однако.

И слава богу, что скоро уйдёт эра опосредованных машинных переводов, когда переводится на английский, потом на русский и только потом на украинский или белорусский.

А почему такая уверенность, что посредник ваапче ни капли не английский⁈ Если других кагбе не было...

Цитата: Bhudh от ноября 25, 2016, 18:50
А почему такая уверенность, что посредник ваапче ни капли не английский⁈ Если других кагбе не было...

У обычного гугля таки английский. Это видно по "ложным друзьям". А вот у этого лабораторного - хз.

Может, эта НС (а не ИИ) просто научилась слова не по статистике в тексте подбирать, а по словарным значениям.

Фишка в том, что с любых языков Google переводит на английский с куда лучшим качеством, чем если переводить с одного не-английского на другой не-английский язык, и это, мне кажется, давно известно всем, кто экспериментировал с системой онлайн-переводов Гугла :)

Цитата: jbionic от декабря  5, 2016, 19:10с любых языков Google переводит на английский с куда лучшим качеством, чем если переводить с одного не-английского на другой не-английский язык

Фишка в том, что с одного не-английского на другой не-английский язык Google переводит сначала на английский, а потом с английского.
И вот с английского он переводит куда хуже, чем на.

Да, очевидно. Кто бы сомневался :)

Я бы хотел отметить, что нейронная сеть в принципе не может вывести из обучающих примеров больше, чем в них есть. Это банальность, но при чтении таких восторженных статей возникает ощущение, что этот факт как-то уходит от осознания.
Принципиально, никакая НС не имеет преимущества перед человеком, которому дали корпус учебных пар текстов и предложили перевести некий текст не из учебных на другой язык (не важно, присутствовала ли бы пара языков в учебных примерах или нет).

Вот вам надавали корпус билингв и предложили перевести некий текст не из корпуса на какой-то из языков. Такая вот лингвистическая задачка. Можно ли назвать совокупность представлений о связи слов разных языков, возникших у вас при решении такой задачи, "новым языком"? Можно ли, обнаруженные взаимосвязи между употреблением разных слов в разных языках назвать "базой данных смыслов"?

Цитата: yurifromspb от декабря  5, 2016, 21:08Можно ли назвать совокупность представлений о связи слов разных языков, возникших у вас при решении такой задачи, "новым языком"?

Нет.

Цитата: yurifromspb от декабря  5, 2016, 21:08Можно ли, обнаруженные взаимосвязи между употреблением разных слов в разных языках назвать "базой данных смыслов"?

А вот это скорее да. И таких "баз" обнаруживается фатальный недостаток.

Цитата: Bhudh от декабря  5, 2016, 21:15А вот это скорее да. И таких "баз" обнаруживается фатальный недостаток.

Возможно, я вас понял. Т.е., база данных смыслов (ну, там, если кошка пьёт молоко, то она попадает в тот сегмент базы, куда и cat, который drinks milk, а если с помощью кошек лезут на столб, то туда, куда и climbing-irons) есть, но жёстко связанных  с учебным набором текстов, а не тех, которые видит в тексте человек, так? И из первого второе никак не выводится. Конечный набор текстов всегда будет что-то упускать.
Или вы какой-то другой недостаток имели в виду? Можно поподробнее?

В нейросетях, используемых для перевода, какая-то обратная связь есть?
Так называемый "внешний критик" оценивает качество перевода, и эта оценка как-то меняет нс? Например, правильный перевод добавляется к обучающим примерам.

Цитата: yurifromspb от декабря  5, 2016, 21:45Или вы какой-то другой недостаток имели в виду?

Я имел в виду вообще недостаток таких баз (а не у баз), нехватку семантических баз перевода.

Цитата: _Swetlana от декабря  5, 2016, 21:46
В нейросетях, используемых для перевода, какая-то обратная связь есть?
Так называемый "внешний критик" оценивает качество перевода, и эта оценка как-то меняет нс? Например, правильный перевод добавляется к обучающим примерам.

Вроде, нет. Не знаю, я тут ссылки себе сохранил на потом, но ещё не читал.
https://arxiv.org/abs/1609.08144
https://arxiv.org/abs/1611.04558
Посмотрите.

Цитата: Bhudh от декабря  5, 2016, 21:58Я имел в виду вообще недостаток таких баз (а не у баз), нехватку семантических баз перевода.

А, понятно.

yurifromspb

Это да. Поэтому объёмы текстов с переводами и наращивают, что вычислительные мощности позволяют быстрее их ныне перерабатывать. Тот же en.bab.la,  судя по примерам на сайте, я так понимаю, родился как пробный камень от переводов микрософтовских справок. И как таковые НС тут едва ли виноваты, пусть они нередко даже оказываются не самым лучшим в плане результатов алгоритмом. Однако убьют ли системы онлайн-переводов надобность в том, чтобы изучать языки? - Почти наверняка, со временем. Ибо хотя объёмы созданных на каждом языке текстов вполне ограничены, их профессиональный  литературный и стилистически-грамотный перевод всё таки занимает время и требует участие людей с определенной квалификацией, притом что fully bilingual людей не так чтобы много. И потом, языки ведь тоже развиваются, пускай даже и медленней технологий, однако в любом случае участие человека, который будет банально корректировать правила соответствия текстов, будет востребовано. Впрочем, глядя на то, насколько разрозненным в плане доступа к образовательным технологиям является население земли, вряд ли это вопрос самого ближайшего будущего :)

Цитата: yurifromspb от декабря  5, 2016, 22:15

Цитата: _Swetlana от декабря  5, 2016, 21:46
В нейросетях, используемых для перевода, какая-то обратная связь есть?
Так называемый "внешний критик" оценивает качество перевода, и эта оценка как-то меняет нс? Например, правильный перевод добавляется к обучающим примерам.

Вроде, нет. Не знаю, я тут ссылки себе сохранил на потом, но ещё не читал.
https://arxiv.org/abs/1609.08144
https://arxiv.org/abs/1611.04558
Посмотрите.

Ещё бы какой ИИ мне это перевёл  ;D Незнакомая терминология, никогда ни нс, ни переводом не занималась.
Что такое "human side-by-side evaluation"?
Using a human side-by-side evaluation on a set of isolated simple sentences, it reduces translation errors by an average of 60% compared to Google's phrase-based production system.

На самом деле куда интересней не то, что технологии стирают границы между знающими или незнающими тот или иной язык,  а то, что будет происходить и с самими государствами. Ведь, если задуматься,  государства и их границы - это ведь вполне эфемерная вещь, существующая только в головах людей: переходящий границу между Россией и Украиной лось был бы сильно удивлен, узнав что по понятиям сумасшедших двуногих существ он является нарушителем :)

Цитата: jbionic от декабря  5, 2016, 22:16однако в любом случае участие человека, который будет банально корректировать правила соответствия текстов, будет востребовано.

Тут как бы НС не начала корректировать представления о соответствии текстов, при слишком восторженном к ней отношении. Машинно-опосредованный глобальный языковой союз.
[zhopogolizm_mode]Начнёт лингвист словарями и грамматиками трясти, а ему НС: предлагаемое изменение вносит недопустимое противоречие в понимание нормативных документов Земного Союза A, B и C носителями языков X, Y и Z. Приготовьтесь к претерпеванию корректирующего воздействия согласно действующему законодательнству. Дискордантные языковые факты откорректированы согласно критерию особо глубинного согласия. Хотя о чём это я, не будет никаких лингвистов.[/zhopogolizm_mode]

Цитата: _Swetlana от декабря  5, 2016, 22:38
Ещё бы какой ИИ мне это перевёл  ;D Незнакомая терминология, никогда ни нс, ни переводом не занималась.
Что такое "human side-by-side evaluation"?
Using a human side-by-side evaluation on a set of isolated simple sentences, it reduces translation errors by an average of 60% compared to Google's phrase-based production system.

Да, для меня это в общем тоже нечто тёмное, поэтому и оставил на потом. А так, human evaluation это человеческая оценка. А side-by-side, "рядом", "на месте", что ли. Может быть это и есть обратная связь, о которой вы спрашивали?

Хз.
Интеллектуальные агенты через обратную связь обучаются, классика жанра, подумала, мож и нс так стали обучать.

Цитата: _Swetlana от декабря  5, 2016, 23:05
Хз.
Интеллектуальные агенты через обратную связь обучаются, классика жанра, подумала, мож и нс так стали обучать.

Цитировать8.2 Evaluation Metrics
We evaluate our models using the standard BLEU score metric. To be comparable to previous work [41, 31, 45],
we report tokenized BLEU score as computed by the multi-bleu.pl script, downloaded from the public
implementation of Moses (on Github), which is also used in [31].
As is well-known, BLEU score does not fully capture the quality of a translation. For that reason we also
carry out side-by-side (SxS) evaluations where we have human raters evaluate and compare the quality of
two translations presented side by side for a given source sentence. Side-by-side scores range from 0 to 6,
with a score of 0 meaning "completely nonsense translation", and a score of 6 meaning "perfect translation:
the meaning of the translation is completely consistent with the source, and the grammar is correct". A
translation is given a score of 4 if "the sentence retains most of the meaning of the source sentence, but may
have some grammar mistakes", and a translation is given a score of 2 if "the sentence preserves some of the
meaning of the source sentence but misses significant parts". These scores are generated by human raters
who are fluent in both languages and hence often capture translation quality better than BLEU scores.

Я так понял: программа давала два варианта перевода вместе (side-by-side), человек оценивал оба. По разнице, видимо, программа решала куда менять перевод. Но тут надо всё читать, чтобы понять в точности использовалась как использовалась разница в оценках.

На самом деле даже миф о Вавилонской башне, после разрушения которой все народы неожиданно стали многоязычными, можно воспринимать и так, как если б ДО её разрушения существовали технологии, делающее общение между иноязычными людьми незаметным. Ну т.е. вроде как если б люди не были никогда одноязычными и как если б мобильные операторы неожиданно отключили свои ретрансляционные антенны или спутник, обеспечивающие всеобщий выход во всемирную паутину к Google Translate для коммуникации. Это если пофантазировать  :)

Цитата: jbionic от января  1, 2017, 16:59
Ну т.е. вроде как если б люди не были никогда одноязычными и как если б мобильные операторы неожиданно отключили свои ретрансляционные антенны или спутник, обеспечивающие всеобщий выход во всемирную паутину к Google Translate для коммуникации.

Оригинальная  ἀναλογία :)

Чё-то вспомнилось.

Только, боюсь, прото-цивилизации не оставили нам на орбите вокруг Земли остатки своих прото-спутников среди космического debris, так что для доказательства гипотезы остаются только пирамиды и шапочки из фольги в могилах прото-людей  :)

Конец профессии переводчика уже близок  ;)
https://www.facebook.com/GIGadgets.Fans/videos/1306731736072779/

Цитата: jbionic от февраля 15, 2017, 19:10
Конец профессии переводчика уже близок  ;)
https://www.facebook.com/GIGadgets.Fans/videos/1306731736072779/

Худлиту всё равно нужна стилистическая обработка после механического перевода. Так что не думаю.