Author Topic: ИИ Google придумал собственный секретный язык  (Read 1604 times)

0 Members and 1 Guest are viewing this topic.

Offline DarkMax2

  • Posts: 43650
  • UeArtemis

Команда разработчиков Google предположила, что созданный ими искусственный интеллект изобрел собственный секретный язык.

В сентябре 2016 года разработчики запустили систему машинного перевода на основе нейронных сетей (Neural Machine Translation) для обучения различным языкам.

Вскоре Google задался вопросом: если обучить систему переводу с английского на корейский (и обратно), затем с английского на японский (и обратно), получится ли у неё переводить с корейского на японский без английского языка как посредника? К удивлению создателей, искусственный интеллект с задачей справился.


После этой странности разработчики предположили, что ИИ самостоятельно создал уникальный язык-посредник. Учёные посмотрели на связи различных предложений в пространстве памяти нейронной сети и подтвердили догадку.

Сейчас о «тайном» языке известно мало: внутренние процессы нейронных сетей крайне сложно увидеть и описать. Однако один факт создания искусственным интеллектом особого глубинного языка-посредника – большой прорыв.
Tej wojny nikt za nas nie wygra! © Wiedźmin III

З моїх снів ти утичеш над ранок,
Терпка як аґрус, солодка як біз.
Хочу снить чорні локи сплута́ні,
Фіалкові очі мокрі від сліз.

Offline Darius

  • Posts: 160
  • Spiker
Любопытно однако.
Spikin pa is in stat. Dis spikin pa is em

Offline DarkMax2

  • Posts: 43650
  • UeArtemis
И слава богу, что скоро уйдёт эра опосредованных машинных переводов, когда переводится на английский, потом на русский и только потом на украинский или белорусский.
Tej wojny nikt za nas nie wygra! © Wiedźmin III

З моїх снів ти утичеш над ранок,
Терпка як аґрус, солодка як біз.
Хочу снить чорні локи сплута́ні,
Фіалкові очі мокрі від сліз.

Offline Bhudh

  • Posts: 47812
  • aka 蝎
    • Сайты по языкознанию
А почему такая уверенность, что посредник ваапче ни капли не английский⁈ Если других кагбе не было…
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

Offline DarkMax2

  • Posts: 43650
  • UeArtemis
А почему такая уверенность, что посредник ваапче ни капли не английский⁈ Если других кагбе не было…
У обычного гугля таки английский. Это видно по "ложным друзьям". А вот у этого лабораторного - хз.
Tej wojny nikt za nas nie wygra! © Wiedźmin III

З моїх снів ти утичеш над ранок,
Терпка як аґрус, солодка як біз.
Хочу снить чорні локи сплута́ні,
Фіалкові очі мокрі від сліз.

Offline Bhudh

  • Posts: 47812
  • aka 蝎
    • Сайты по языкознанию
Может, эта НС (а не ИИ) просто научилась слова не по статистике в тексте подбирать, а по словарным значениям.
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

Offline jbionic

  • Posts: 769
Фишка в том, что с любых языков Google переводит на английский с куда лучшим качеством, чем если переводить с одного не-английского на другой не-английский язык, и это, мне кажется, давно известно всем, кто экспериментировал с системой онлайн-переводов Гугла :)
Иногда вежливость легко перепутать со слабоумием
Зашёл покормить тараканов

Offline Bhudh

  • Posts: 47812
  • aka 蝎
    • Сайты по языкознанию
с любых языков Google переводит на английский с куда лучшим качеством, чем если переводить с одного не-английского на другой не-английский язык
Фишка в том, что с одного не-английского на другой не-английский язык Google переводит сначала на английский, а потом с английского.
И вот с английского он переводит куда хуже, чем на.
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

Offline jbionic

  • Posts: 769
Да, очевидно. Кто бы сомневался :)
Иногда вежливость легко перепутать со слабоумием
Зашёл покормить тараканов

Offline yurifromspb

  • Posts: 582
Я бы хотел отметить, что нейронная сеть в принципе не может вывести из обучающих примеров больше, чем в них есть. Это банальность, но при чтении таких восторженных статей возникает ощущение, что этот факт как-то уходит от осознания.
Принципиально, никакая НС не имеет преимущества перед человеком, которому дали корпус учебных пар текстов и предложили перевести некий текст не из учебных на другой язык (не важно, присутствовала ли бы пара языков в учебных примерах или нет).

Вот вам надавали корпус билингв и предложили перевести некий текст не из корпуса на какой-то из языков. Такая вот лингвистическая задачка. Можно ли назвать совокупность представлений о связи слов разных языков, возникших у вас при решении такой задачи, "новым языком"? Можно ли, обнаруженные взаимосвязи между употреблением разных слов в разных языках назвать "базой данных смыслов"?
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Offline Bhudh

  • Posts: 47812
  • aka 蝎
    • Сайты по языкознанию
Можно ли назвать совокупность представлений о связи слов разных языков, возникших у вас при решении такой задачи, "новым языком"?
Нет.

Можно ли, обнаруженные взаимосвязи между употреблением разных слов в разных языках назвать "базой данных смыслов"?
А вот это скорее да. И таких "баз" обнаруживается фатальный недостаток.
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

Offline yurifromspb

  • Posts: 582
А вот это скорее да. И таких "баз" обнаруживается фатальный недостаток.

Возможно, я вас понял. Т.е., база данных смыслов (ну, там, если кошка пьёт молоко, то она попадает в тот сегмент базы, куда и cat, который drinks milk, а если с помощью кошек лезут на столб, то туда, куда и climbing-irons) есть, но жёстко связанных  с учебным набором текстов, а не тех, которые видит в тексте человек, так? И из первого второе никак не выводится. Конечный набор текстов всегда будет что-то упускать.
Или вы какой-то другой недостаток имели в виду? Можно поподробнее?
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Offline _Swetlana

  • Posts: 13908
В нейросетях, используемых для перевода, какая-то обратная связь есть?
Так называемый "внешний критик" оценивает качество перевода, и эта оценка как-то меняет нс? Например, правильный перевод добавляется к обучающим примерам.
Ὁ λόγος τῆς νοήσεως ἐλπίς ἐστιν.
Талбишектә үстем мин дә, сизелми мени бер дә?
Bless the Beasts and Children.

Offline Bhudh

  • Posts: 47812
  • aka 蝎
    • Сайты по языкознанию
Или вы какой-то другой недостаток имели в виду?
Я имел в виду вообще недостаток таких баз (а не у баз), нехватку семантических баз перевода.
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

Offline yurifromspb

  • Posts: 582
В нейросетях, используемых для перевода, какая-то обратная связь есть?
Так называемый "внешний критик" оценивает качество перевода, и эта оценка как-то меняет нс? Например, правильный перевод добавляется к обучающим примерам.
Вроде, нет. Не знаю, я тут ссылки себе сохранил на потом, но ещё не читал.
https://arxiv.org/abs/1609.08144
https://arxiv.org/abs/1611.04558
Посмотрите.

Я имел в виду вообще недостаток таких баз (а не у баз), нехватку семантических баз перевода.
А, понятно.
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Offline jbionic

  • Posts: 769
yurifromspb

Это да. Поэтому объёмы текстов с переводами и наращивают, что вычислительные мощности позволяют быстрее их ныне перерабатывать. Тот же en.bab.la,  судя по примерам на сайте, я так понимаю, родился как пробный камень от переводов микрософтовских справок. И как таковые НС тут едва ли виноваты, пусть они нередко даже оказываются не самым лучшим в плане результатов алгоритмом. Однако убьют ли системы онлайн-переводов надобность в том, чтобы изучать языки? - Почти наверняка, со временем. Ибо хотя объёмы созданных на каждом языке текстов вполне ограничены, их профессиональный  литературный и стилистически-грамотный перевод всё таки занимает время и требует участие людей с определенной квалификацией, притом что fully bilingual людей не так чтобы много. И потом, языки ведь тоже развиваются, пускай даже и медленней технологий, однако в любом случае участие человека, который будет банально корректировать правила соответствия текстов, будет востребовано. Впрочем, глядя на то, насколько разрозненным в плане доступа к образовательным технологиям является население земли, вряд ли это вопрос самого ближайшего будущего :)
Иногда вежливость легко перепутать со слабоумием
Зашёл покормить тараканов

Offline _Swetlana

  • Posts: 13908
В нейросетях, используемых для перевода, какая-то обратная связь есть?
Так называемый "внешний критик" оценивает качество перевода, и эта оценка как-то меняет нс? Например, правильный перевод добавляется к обучающим примерам.
Вроде, нет. Не знаю, я тут ссылки себе сохранил на потом, но ещё не читал.
https://arxiv.org/abs/1609.08144
https://arxiv.org/abs/1611.04558
Посмотрите.

Ещё бы какой ИИ мне это перевёл  ;D Незнакомая терминология, никогда ни нс, ни переводом не занималась.
Что такое "human side-by-side evaluation"?
Using a human side-by-side evaluation on a set of isolated simple sentences, it reduces translation errors by an average of 60% compared to Google's phrase-based production system.
Ὁ λόγος τῆς νοήσεως ἐλπίς ἐστιν.
Талбишектә үстем мин дә, сизелми мени бер дә?
Bless the Beasts and Children.

Offline jbionic

  • Posts: 769
На самом деле куда интересней не то, что технологии стирают границы между знающими или незнающими тот или иной язык,  а то, что будет происходить и с самими государствами. Ведь, если задуматься,  государства и их границы - это ведь вполне эфемерная вещь, существующая только в головах людей: переходящий границу между Россией и Украиной лось был бы сильно удивлен, узнав что по понятиям сумасшедших двуногих существ он является нарушителем :)
Иногда вежливость легко перепутать со слабоумием
Зашёл покормить тараканов

Offline yurifromspb

  • Posts: 582
однако в любом случае участие человека, который будет банально корректировать правила соответствия текстов, будет востребовано.
Тут как бы НС не начала корректировать представления о соответствии текстов, при слишком восторженном к ней отношении. Машинно-опосредованный глобальный языковой союз.
[zhopogolizm_mode]Начнёт лингвист словарями и грамматиками трясти, а ему НС: предлагаемое изменение вносит недопустимое противоречие в понимание нормативных документов Земного Союза A, B и C носителями языков X, Y и Z. Приготовьтесь к претерпеванию корректирующего воздействия согласно действующему законодательнству. Дискордантные языковые факты откорректированы согласно критерию особо глубинного согласия. Хотя о чём это я, не будет никаких лингвистов.[/zhopogolizm_mode]
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Ещё бы какой ИИ мне это перевёл  ;D Незнакомая терминология, никогда ни нс, ни переводом не занималась.
Что такое "human side-by-side evaluation"?
Using a human side-by-side evaluation on a set of isolated simple sentences, it reduces translation errors by an average of 60% compared to Google's phrase-based production system.
Да, для меня это в общем тоже нечто тёмное, поэтому и оставил на потом. А так, human evaluation это человеческая оценка. А side-by-side, "рядом", "на месте", что ли. Может быть это и есть обратная связь, о которой вы спрашивали?
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Offline _Swetlana

  • Posts: 13908
Хз.
Интеллектуальные агенты через обратную связь обучаются, классика жанра, подумала, мож и нс так стали обучать.
Ὁ λόγος τῆς νοήσεως ἐλπίς ἐστιν.
Талбишектә үстем мин дә, сизелми мени бер дә?
Bless the Beasts and Children.

Offline yurifromspb

  • Posts: 582
Хз.
Интеллектуальные агенты через обратную связь обучаются, классика жанра, подумала, мож и нс так стали обучать.

Quote
8.2 Evaluation Metrics
We evaluate our models using the standard BLEU score metric. To be comparable to previous work [41, 31, 45],
we report tokenized BLEU score as computed by the multi-bleu.pl script, downloaded from the public
implementation of Moses (on Github), which is also used in [31].
As is well-known, BLEU score does not fully capture the quality of a translation. For that reason we also
carry out side-by-side (SxS) evaluations where we have human raters evaluate and compare the quality of
two translations presented side by side for a given source sentence. Side-by-side scores range from 0 to 6,
with a score of 0 meaning “completely nonsense translation”, and a score of 6 meaning “perfect translation:
the meaning of the translation is completely consistent with the source, and the grammar is correct”. A
translation is given a score of 4 if “the sentence retains most of the meaning of the source sentence, but may
have some grammar mistakes”, and a translation is given a score of 2 if “the sentence preserves some of the
meaning of the source sentence but misses significant parts”. These scores are generated by human raters
who are fluent in both languages and hence often capture translation quality better than BLEU scores.
Я так понял: программа давала два варианта перевода вместе (side-by-side), человек оценивал оба. По разнице, видимо, программа решала куда менять перевод. Но тут надо всё читать, чтобы понять в точности использовалась как использовалась разница в оценках.
Дяденька, я ведь не настоящий лингвист, а этимологический словарь я в интернете нашёл.

Свобода у каждого своя, как и очевидность, посмотри, не тьма ли твой свет.

Offline jbionic

  • Posts: 769
На самом деле даже миф о Вавилонской башне, после разрушения которой все народы неожиданно стали многоязычными, можно воспринимать и так, как если б ДО её разрушения существовали технологии, делающее общение между иноязычными людьми незаметным. Ну т.е. вроде как если б люди не были никогда одноязычными и как если б мобильные операторы неожиданно отключили свои ретрансляционные антенны или спутник, обеспечивающие всеобщий выход во всемирную паутину к Google Translate для коммуникации. Это если пофантазировать  :)
Иногда вежливость легко перепутать со слабоумием
Зашёл покормить тараканов

Offline pomogosha

  • Posts: 3471
  • Язык — подвижный мышечный орган в полости рта.
Ну т.е. вроде как если б люди не были никогда одноязычными и как если б мобильные операторы неожиданно отключили свои ретрансляционные антенны или спутник, обеспечивающие всеобщий выход во всемирную паутину к Google Translate для коммуникации.
    Оригинальная  ἀναλογία :)
Не говори — не прикусишь язык!
                                             мудрость
Эгоизм vs Альтруизм
http://www.pesni.ru/song/2207/
http://www.kalen-dar.ru/today/

Offline Bhudh

  • Posts: 47812
  • aka 蝎
    • Сайты по языкознанию
Чё-то вспомнилось.

Тим СОБАКИН
СЕТНЫЙ ЯК
Чтоб наши мысли не постиг
 соперник неприятный,
 давай придумаем язык,
 лишь нам двоим понятный.

 Мы буквы в середине слов
 отбросим незаметно -
 и будет через день готов
 язык вполне секретный!

 Вот мы хотим сказать "пельмень",
 но сократим вначале.
 И будем знать, что слово ПЕНЬ
 "ПЕльмеНЬ" обозначает.

 Слова нетрудно сократить!
 Запомним непременно:
 ВЫТЬ означает "ВЫходиТЬ",
 а ПЕНА — ПЕремеНА".

 КОмпоТ, пожалуй, будет КОТ,
 а НОС — "НасОС" хороший.
 Никто на свете не поймет,
 что КАША — есть КАлоША"...

 Мы начинаем говорить
 друг с другом постепенно:
 "Из класса нужно быстро ВЫТЬ,
 когда большая ПЕНА".

 — Накачивает НОС мячи...
 — В стакане КОТ из дыни...
 — А КАША сохнет на печи...
 — А ПЕНЬ в тарелке стынет...

 Что значит КОТ?
 Что значит ПЕНЬ? —
 Соображаем туго!..
 И я боюсь, что через день
 мы не поймем друг друга.
Пиши, что думаешь, но думай, что пишешь.
MONEŌ ERGŌ MANEŌ.
Waheeba dokin ʔebi naha.
«каждый пост в интернете имеет коэффициент бреда» © Невский чукчо

 

With Quick-Reply you can write a post when viewing a topic without loading a new page. You can still use bulletin board code and smileys as you would in a normal post.

Note: this post will not display until it's been approved by a moderator.
Name: Email:
Verification:
Type the letters shown in the picture
Listen to the letters / Request another image
Type the letters shown in the picture:
√49 Напишите ответ строчными буквами:
«Сто одёжек, все без застёжек» — что это?: