Главное меню
Мы солидарны с Украиной. Узнайте здесь, как можно поддержать Украину.

ИИ Google придумал собственный секретный язык

Автор DarkMax2, ноября 25, 2016, 15:38

0 Пользователи и 1 гость просматривают эту тему.

DarkMax2


Команда разработчиков Google предположила, что созданный ими искусственный интеллект изобрел собственный секретный язык.

В сентябре 2016 года разработчики запустили систему машинного перевода на основе нейронных сетей (Neural Machine Translation) для обучения различным языкам.

Вскоре Google задался вопросом: если обучить систему переводу с английского на корейский (и обратно), затем с английского на японский (и обратно), получится ли у неё переводить с корейского на японский без английского языка как посредника? К удивлению создателей, искусственный интеллект с задачей справился.


После этой странности разработчики предположили, что ИИ самостоятельно создал уникальный язык-посредник. Учёные посмотрели на связи различных предложений в пространстве памяти нейронной сети и подтвердили догадку.

Сейчас о «тайном» языке известно мало: внутренние процессы нейронных сетей крайне сложно увидеть и описать. Однако один факт создания искусственным интеллектом особого глубинного языка-посредника – большой прорыв.
Tej wojny nikt za nas nie wygra! © Wiedźmin III
Коли зчинять лемент: "Хто ж знав?!" — відповімо: "Ми".

З моїх снів ти утечеш над ранок,
Терпка, як аґрус, солодка, як біз.
Хочу снить чорні локи сплута́ні,
Фіалкові очі, мокрі від сліз.

Darius

Spikin pa is in stat. Dis spikin pa is em

DarkMax2

И слава богу, что скоро уйдёт эра опосредованных машинных переводов, когда переводится на английский, потом на русский и только потом на украинский или белорусский.
Tej wojny nikt za nas nie wygra! © Wiedźmin III
Коли зчинять лемент: "Хто ж знав?!" — відповімо: "Ми".

З моїх снів ти утечеш над ранок,
Терпка, як аґрус, солодка, як біз.
Хочу снить чорні локи сплута́ні,
Фіалкові очі, мокрі від сліз.

Bhudh

А почему такая уверенность, что посредник ваапче ни капли не английский⁈ Если других кагбе не было...
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

DarkMax2

Цитата: Bhudh от ноября 25, 2016, 18:50
А почему такая уверенность, что посредник ваапче ни капли не английский⁈ Если других кагбе не было...
У обычного гугля таки английский. Это видно по "ложным друзьям". А вот у этого лабораторного - хз.
Tej wojny nikt za nas nie wygra! © Wiedźmin III
Коли зчинять лемент: "Хто ж знав?!" — відповімо: "Ми".

З моїх снів ти утечеш над ранок,
Терпка, як аґрус, солодка, як біз.
Хочу снить чорні локи сплута́ні,
Фіалкові очі, мокрі від сліз.

Bhudh

Может, эта НС (а не ИИ) просто научилась слова не по статистике в тексте подбирать, а по словарным значениям.
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

jbionic

Фишка в том, что с любых языков Google переводит на английский с куда лучшим качеством, чем если переводить с одного не-английского на другой не-английский язык, и это, мне кажется, давно известно всем, кто экспериментировал с системой онлайн-переводов Гугла :)
Иногда вежливость легко перепутать со слабоумием
Зашёл покормить тараканов

Bhudh

Цитата: jbionic от декабря  5, 2016, 19:10с любых языков Google переводит на английский с куда лучшим качеством, чем если переводить с одного не-английского на другой не-английский язык
Фишка в том, что с одного не-английского на другой не-английский язык Google переводит сначала на английский, а потом с английского.
И вот с английского он переводит куда хуже, чем на.
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

jbionic

Иногда вежливость легко перепутать со слабоумием
Зашёл покормить тараканов

yurifromspb

Я бы хотел отметить, что нейронная сеть в принципе не может вывести из обучающих примеров больше, чем в них есть. Это банальность, но при чтении таких восторженных статей возникает ощущение, что этот факт как-то уходит от осознания.
Принципиально, никакая НС не имеет преимущества перед человеком, которому дали корпус учебных пар текстов и предложили перевести некий текст не из учебных на другой язык (не важно, присутствовала ли бы пара языков в учебных примерах или нет).

Вот вам надавали корпус билингв и предложили перевести некий текст не из корпуса на какой-то из языков. Такая вот лингвистическая задачка. Можно ли назвать совокупность представлений о связи слов разных языков, возникших у вас при решении такой задачи, "новым языком"? Можно ли, обнаруженные взаимосвязи между употреблением разных слов в разных языках назвать "базой данных смыслов"?
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Bāb-lišānī lapit-ma, lū awīlāta! // from "Lamentations of Urišapibim".

Bhudh

Цитата: yurifromspb от декабря  5, 2016, 21:08Можно ли назвать совокупность представлений о связи слов разных языков, возникших у вас при решении такой задачи, "новым языком"?
Нет.

Цитата: yurifromspb от декабря  5, 2016, 21:08Можно ли, обнаруженные взаимосвязи между употреблением разных слов в разных языках назвать "базой данных смыслов"?
А вот это скорее да. И таких "баз" обнаруживается фатальный недостаток.
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

yurifromspb

Цитата: Bhudh от декабря  5, 2016, 21:15А вот это скорее да. И таких "баз" обнаруживается фатальный недостаток.

Возможно, я вас понял. Т.е., база данных смыслов (ну, там, если кошка пьёт молоко, то она попадает в тот сегмент базы, куда и cat, который drinks milk, а если с помощью кошек лезут на столб, то туда, куда и climbing-irons) есть, но жёстко связанных  с учебным набором текстов, а не тех, которые видит в тексте человек, так? И из первого второе никак не выводится. Конечный набор текстов всегда будет что-то упускать.
Или вы какой-то другой недостаток имели в виду? Можно поподробнее?
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Bāb-lišānī lapit-ma, lū awīlāta! // from "Lamentations of Urišapibim".

_Swetlana

В нейросетях, используемых для перевода, какая-то обратная связь есть?
Так называемый "внешний критик" оценивает качество перевода, и эта оценка как-то меняет нс? Например, правильный перевод добавляется к обучающим примерам.
🐇

Bhudh

Цитата: yurifromspb от декабря  5, 2016, 21:45Или вы какой-то другой недостаток имели в виду?
Я имел в виду вообще недостаток таких баз (а не у баз), нехватку семантических баз перевода.
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

yurifromspb

Цитата: _Swetlana от декабря  5, 2016, 21:46
В нейросетях, используемых для перевода, какая-то обратная связь есть?
Так называемый "внешний критик" оценивает качество перевода, и эта оценка как-то меняет нс? Например, правильный перевод добавляется к обучающим примерам.
Вроде, нет. Не знаю, я тут ссылки себе сохранил на потом, но ещё не читал.
https://arxiv.org/abs/1609.08144
https://arxiv.org/abs/1611.04558
Посмотрите.

Цитата: Bhudh от декабря  5, 2016, 21:58Я имел в виду вообще недостаток таких баз (а не у баз), нехватку семантических баз перевода.
А, понятно.
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Bāb-lišānī lapit-ma, lū awīlāta! // from "Lamentations of Urišapibim".

jbionic

yurifromspb

Это да. Поэтому объёмы текстов с переводами и наращивают, что вычислительные мощности позволяют быстрее их ныне перерабатывать. Тот же //en.bab.la,  судя по примерам на сайте, я так понимаю, родился как пробный камень от переводов микрософтовских справок. И как таковые НС тут едва ли виноваты, пусть они нередко даже оказываются не самым лучшим в плане результатов алгоритмом. Однако убьют ли системы онлайн-переводов надобность в том, чтобы изучать языки? - Почти наверняка, со временем. Ибо хотя объёмы созданных на каждом языке текстов вполне ограничены, их профессиональный  литературный и стилистически-грамотный перевод всё таки занимает время и требует участие людей с определенной квалификацией, притом что fully bilingual людей не так чтобы много. И потом, языки ведь тоже развиваются, пускай даже и медленней технологий, однако в любом случае участие человека, который будет банально корректировать правила соответствия текстов, будет востребовано. Впрочем, глядя на то, насколько разрозненным в плане доступа к образовательным технологиям является население земли, вряд ли это вопрос самого ближайшего будущего :)
Иногда вежливость легко перепутать со слабоумием
Зашёл покормить тараканов

_Swetlana

Цитата: yurifromspb от декабря  5, 2016, 22:15
Цитата: _Swetlana от декабря  5, 2016, 21:46
В нейросетях, используемых для перевода, какая-то обратная связь есть?
Так называемый "внешний критик" оценивает качество перевода, и эта оценка как-то меняет нс? Например, правильный перевод добавляется к обучающим примерам.
Вроде, нет. Не знаю, я тут ссылки себе сохранил на потом, но ещё не читал.
https://arxiv.org/abs/1609.08144
https://arxiv.org/abs/1611.04558
Посмотрите.

Ещё бы какой ИИ мне это перевёл  ;D Незнакомая терминология, никогда ни нс, ни переводом не занималась.
Что такое "human side-by-side evaluation"?
Using a human side-by-side evaluation on a set of isolated simple sentences, it reduces translation errors by an average of 60% compared to Google's phrase-based production system.
🐇

jbionic

На самом деле куда интересней не то, что технологии стирают границы между знающими или незнающими тот или иной язык,  а то, что будет происходить и с самими государствами. Ведь, если задуматься,  государства и их границы - это ведь вполне эфемерная вещь, существующая только в головах людей: переходящий границу между Россией и Украиной лось был бы сильно удивлен, узнав что по понятиям сумасшедших двуногих существ он является нарушителем :)
Иногда вежливость легко перепутать со слабоумием
Зашёл покормить тараканов

yurifromspb

Цитата: jbionic от декабря  5, 2016, 22:16однако в любом случае участие человека, который будет банально корректировать правила соответствия текстов, будет востребовано.
Тут как бы НС не начала корректировать представления о соответствии текстов, при слишком восторженном к ней отношении. Машинно-опосредованный глобальный языковой союз.
[zhopogolizm_mode]Начнёт лингвист словарями и грамматиками трясти, а ему НС: предлагаемое изменение вносит недопустимое противоречие в понимание нормативных документов Земного Союза A, B и C носителями языков X, Y и Z. Приготовьтесь к претерпеванию корректирующего воздействия согласно действующему законодательнству. Дискордантные языковые факты откорректированы согласно критерию особо глубинного согласия. Хотя о чём это я, не будет никаких лингвистов.[/zhopogolizm_mode]
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Bāb-lišānī lapit-ma, lū awīlāta! // from "Lamentations of Urišapibim".

yurifromspb

Цитата: _Swetlana от декабря  5, 2016, 22:38
Ещё бы какой ИИ мне это перевёл  ;D Незнакомая терминология, никогда ни нс, ни переводом не занималась.
Что такое "human side-by-side evaluation"?
Using a human side-by-side evaluation on a set of isolated simple sentences, it reduces translation errors by an average of 60% compared to Google's phrase-based production system.
Да, для меня это в общем тоже нечто тёмное, поэтому и оставил на потом. А так, human evaluation это человеческая оценка. А side-by-side, "рядом", "на месте", что ли. Может быть это и есть обратная связь, о которой вы спрашивали?
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Bāb-lišānī lapit-ma, lū awīlāta! // from "Lamentations of Urišapibim".

_Swetlana

Хз.
Интеллектуальные агенты через обратную связь обучаются, классика жанра, подумала, мож и нс так стали обучать.
🐇

yurifromspb

Цитата: _Swetlana от декабря  5, 2016, 23:05
Хз.
Интеллектуальные агенты через обратную связь обучаются, классика жанра, подумала, мож и нс так стали обучать.

Цитировать8.2 Evaluation Metrics
We evaluate our models using the standard BLEU score metric. To be comparable to previous work [41, 31, 45],
we report tokenized BLEU score as computed by the //multi-bleu.pl script, downloaded from the public
implementation of Moses (on Github), which is also used in [31].
As is well-known, BLEU score does not fully capture the quality of a translation. For that reason we also
carry out side-by-side (SxS) evaluations where we have human raters evaluate and compare the quality of
two translations presented side by side for a given source sentence. Side-by-side scores range from 0 to 6,
with a score of 0 meaning "completely nonsense translation", and a score of 6 meaning "perfect translation:
the meaning of the translation is completely consistent with the source, and the grammar is correct". A
translation is given a score of 4 if "the sentence retains most of the meaning of the source sentence, but may
have some grammar mistakes", and a translation is given a score of 2 if "the sentence preserves some of the
meaning of the source sentence but misses significant parts". These scores are generated by human raters
who are fluent in both languages and hence often capture translation quality better than BLEU scores.
Я так понял: программа давала два варианта перевода вместе (side-by-side), человек оценивал оба. По разнице, видимо, программа решала куда менять перевод. Но тут надо всё читать, чтобы понять в точности использовалась как использовалась разница в оценках.
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Bāb-lišānī lapit-ma, lū awīlāta! // from "Lamentations of Urišapibim".

jbionic

На самом деле даже миф о Вавилонской башне, после разрушения которой все народы неожиданно стали многоязычными, можно воспринимать и так, как если б ДО её разрушения существовали технологии, делающее общение между иноязычными людьми незаметным. Ну т.е. вроде как если б люди не были никогда одноязычными и как если б мобильные операторы неожиданно отключили свои ретрансляционные антенны или спутник, обеспечивающие всеобщий выход во всемирную паутину к Google Translate для коммуникации. Это если пофантазировать  :)
Иногда вежливость легко перепутать со слабоумием
Зашёл покормить тараканов

pomogosha

Цитата: jbionic от января  1, 2017, 16:59
Ну т.е. вроде как если б люди не были никогда одноязычными и как если б мобильные операторы неожиданно отключили свои ретрансляционные антенны или спутник, обеспечивающие всеобщий выход во всемирную паутину к Google Translate для коммуникации.
Оригинальная  ἀναλογία :)
Не говори — не прикусишь язык!
                                             мудрость
Эгоизм vs Альтруизм
http://www.pesni.ru/song/2207/
http://www.kalen-dar.ru/today/

Bhudh

Чё-то вспомнилось.

Тим СОБАКИН
СЕТНЫЙ ЯК
Чтоб наши мысли не постиг
соперник неприятный,
давай придумаем язык,
лишь нам двоим понятный.

Мы буквы в середине слов
отбросим незаметно -
и будет через день готов
язык вполне секретный!

Вот мы хотим сказать "пельмень",
но сократим вначале.
И будем знать, что слово ПЕНЬ
"ПЕльмеНЬ" обозначает.

Слова нетрудно сократить!
Запомним непременно:
ВЫТЬ означает "ВЫходиТЬ",
а ПЕНА — ПЕремеНА".

КОмпоТ, пожалуй, будет КОТ,
а НОС — "НасОС" хороший.
Никто на свете не поймет,
что КАША — есть КАлоША"...

Мы начинаем говорить
друг с другом постепенно:
"Из класса нужно быстро ВЫТЬ,
когда большая ПЕНА".

— Накачивает НОС мячи...
— В стакане КОТ из дыни...
— А КАША сохнет на печи...
— А ПЕНЬ в тарелке стынет...

Что значит КОТ?
Что значит ПЕНЬ? —
Соображаем туго!..
И я боюсь, что через день
мы не поймем друг друга.
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

Быстрый ответ

Обратите внимание: данное сообщение не будет отображаться, пока модератор не одобрит его.

Имя:
Имейл:
Проверка:
Оставьте это поле пустым:
Наберите символы, которые изображены на картинке
Прослушать / Запросить другое изображение

Наберите символы, которые изображены на картинке:

√36:
ALT+S — отправить
ALT+P — предварительный просмотр