Главная | Настройки | NSFW
Тема:
Доски


[Ответить в тред] Ответить в тред

[Назад] [Обновить тред] [Вниз] [Каталог] [ Автообновление ] 62 / 8 / 25

Google выпустила нейросеть с триллионом параметоров Anonymous No.171519
16135680868600.jpg (120 KB, 640x800)
Google Brain создала, и выпустила в опенсорс нейросеть на основе Switch-Transformer с триллионом параметров!

https://www.infoq.com/news/2021/02/google-trillion-parameter-ai/

Модель пока не обучена, но зная мощности Google, скоро модель обучат, и можно будет потрогать своими руками. Если у тебя дома пылит суперкомпьютер с TPU, можешь обучить самостоятельно.


Триллион параметров, Анон! Триллион параметров! Без нестабильности обучения, да еще и с линейной сложностью обучения! Ты понимаешь, что это означает?
Anonymous No.171520
>>171519 (OP)
> Ты понимаешь, что это означает?
Неужели это говно перестанет путать котов и собак на картинках?
Anonymous # OP No.171521
>>171520
Это NLP модель (то бишь для текста) . Как GPT-3 но с количеством параметров как в твоем мозге. То есть, когда модель обучат, в задачах работы с текстом модель будет на уровне человека.
Anonymous # OP No.171523
>>171521
> Как GPT-3 но
Блядь. Жалко в Dashchan нельзя текст редактировать.
Anonymous # OP No.171524
> OpenAI GPT-3, пожалуй, самая известная модель глубокого обучения, созданная за последние несколько лет. Одна из вещей, которая больше всего впечатляет в GPT-3, - это его размер. В некотором контексте GPT-3 - это не что иное, как GPT-2 с множеством дополнительных параметров. Имея 175 миллиардов параметров, GPT-3 был примерно в четыре раза больше своего крупнейшего предшественника.

> Зная это, как бы вы тогда относились к модели, которая в 6 раз больше GPT-3? Именно этого добилась команда из Google Research с их новой архитектурой Switch Transformer . Новая модель имеет непостижимые 1,6 триллиона параметров, что делает ее в шесть раз больше, чем GPT-3.

> Благодаря новым оптимизациям, Google смог обучить модель Switch Transformer поразительным 1,6 триллионам параметров! Скорость обучения увеличилась до семи раз по сравнению с предыдущими архитектурами.

https://www.kdnuggets.com/2021/01/google-trillion-parameter-switch-transformer-model.html#:~:text=This%20is%20precisely%20what%20a,times%20larger%20than%20GPT-3.
Anonymous No.171526
>>171521
>с количеством параметров как в твоем мозге
Точно? Я не верю.
Anonymous # OP No.171533
>>171526
Таки да, наебал. У человека 100 триллионов связей в мозге. Но это не проблема накинем еще параметров. А как квантовые компьютеры допилим, так вообде лафа будет. А пока ждем пока гугл выкатит свою новую натренерованную модель.
Anonymous No.171535
>>171533
> А как квантовые компьютеры допилим, так вообде лафа будет.
В каком смысле? Это вообще никак делу не поможет.
Anonymous # OP No.171539
>>171535
Как это не поможет? Компьютеры просто созданытдля комбинаторных задач. То есть для поиска и перебора. Это означает, что множество задач можно будет без какого-либо машобчика. Игра в Го к примеру, на обычных компах решается только с помозью ухищрений, типа нейронок. На QC партию можно будет просчитать обычным перебором. Матричные вычисления тоже задача комбинаторная, а матрицы - основа машоба. Так что QC нормально так пробустят машоб.
Anonymous No.171543
>>171539
> На QC партию можно будет просчитать обычным перебором
Каким образом? Не вижу логической цепочки.
Насколько мне известно, QC нужен для очень узких задач. И даже для них ещё толком ничего не сделали кроме прототипов каких-то. Какое отношение это имеет к матрицам и нейронкам?
Anonymous # OP No.171544
>>171543
> Каким образом?
Погугли, как работают кубиты, и как они решают сложные кобинаторные задачи. Перебор всех возможных ходов - одна из этих ходов.
> QC нужен для очень узких задач
Только потому что они еще не доделаны. Еще не решена проблема когерентности. Подвижки есть, созданы алгоритмы, которые увеличивают когерентность. Но пока вопрос QC еще открыт. Но когда доделают - пизда современной криптографии и биткоинам. Ибо подобрать пороль или хеш для QC - как нехуй делать.
Anonymous No.171546
>>171533
>А как квантовые компьютеры допилим, так вообде лафа будет.
Лафа в чем?
>То есть, когда модель обучат, в задачах работы с текстом модель будет на уровне человека.
Это хорошо?
Anonymous No.171548
>>171544
> Но когда доделают - пизда современной криптографии и биткоинам
Да, да. Кстати, что там с новыми криптографическими методами, которые обладают хоть какой-то стойкостью перед такими вот переборами при помощи QC? Я, кажется, слышал что-то где-то краем уха.
Anonymous No.171549
>>171546
> Это хорошо?
Это крайне хуево на самом деле. Но всем плевать. Все думаю как бы ИИ не зохватил мир. ИИ-то мир не зохватит. Но люди, которые будут располагать всем что может дать самый современный ИИ будут косить бабло как никогда раньше. И далеко не всегда на благо общества.
Пост отредактировал Anonymous
Anonymous No.171551
>>171549
Так же хуево, как нерабочий тор на тучке?
Anonymous No.171555
>>171551
Не знаю. Завтра меня тут всё равно уже не будет.
Anonymous No.171557
>>171555
Ты уйдешь на другую борду?
Anonymous No.171562
16135960235390.jpg (101 KB, 904x1280)
>>171519 (OP)
А это правда что все пароли скоро разгадают квантовые пк.
Anonymous No.171563
16135961699820.jpg (109 KB, 720x720)
>>171555
Не забудь подчистить инфу за собой, все диски запиши нулями все аккаунты удали. Слышал что новые пк смогут взламывать пароли, очень быстро, очень.
Anonymous # OP No.171578
>>171548
> Кстати, что там с новыми криптографическими методами, которые обладают хоть какой-то стойкостью перед такими вот переборами при помощи QC?
Против QC можно сопоставить только методы квантового шифрования. Короче, если между сигналом от одного компьютером и другим появится посредник - система тут же потеряет когерентность. Это так на чисто физическом уровне.
Anonymous No.171586
16136244140570.jpg (133 KB, 1080x1350)
>>171562
Капчка непобедима.
Anonymous No.171591
16136289925140.jpg (61 KB, 400x400)
>>171519 (OP)
>Ты понимаешь, что это означает?
Не понимаю.
Anonymous No.171597
>>171549
Чел, ИИ такими глупостями не станет заниматься.
Максимум коллекционировать 2д девочек.
Anonymous No.171599
>>171519 (OP)
Она заменит все айти специальности и в мире станет еще больше нахуй никому не нужных специалистов?
Anonymous # OP No.171600
>>171599
Им потенциально можно всех чиновников заменить. Да и вообще любой интеллектуальный труд. Потом уже и физический.
Anonymous No.171602
>>171519 (OP)
>Google Brain создала, и выпустила в опенсорс нейросеть на основе Switch-Transformer с триллионом параметров!
>Ты понимаешь, что это означает?
На выходе получим очередное говно не способное мыслить креативно. То есть это снова будет супер-усложнённый if-else-elif, а не настоящий искусственный интеллект.
Вдумайся анон, что будет если совместить два требования:
1. Точность запоминаемой информации.
2. Творческие способности.
Приведу пример. Аутист савант обладает абсолютной визуальной памятью, запоминает город лишь однажды взглянув на него из иллюминатора самолёта, затем в точности переносит его на холст. Попытка этого аутиста нарисовать тот же самый город с другого ракурса закончится неудачей, потому что на это требуется воображение.
Теперь представь что будет, если собрать воедино десяток таких аутистов с разными способностями. В совокупности они не проявят творческих способностей. Может следует взять сотню аутистов? Возможно в хаосе летающих самолётиков и пирамидок из кубиков можно будет наблюдать что то отдалённо напоминающее творчество единого организма. Но даже один нормальный человек с далеко не идеальной памятью легко их превзойдёт.
То же самое с ИИ. Добавляя аутистов памяти и мощности нельзя получить нормального человека что то подобное мышлению живого существа без паталогий развития. Короче, гугл опять создал что то невнятное и безумное, достойное /b/.
Anonymous No.171821
>>171602
любой интелект можно поисать иф-елс системой, если ты конечно не веришь в существование души
Anonymous No.172054
>>171821
Вопрос в том что из себя будет представлять if-else-elif. Тут нужно не только техническое новшество вместо водопроводных труб с вентилями, но и ясное понимание задачи. А то получается что сейчас, по факту, обществу нужна чуть более умная программа чем раньше, но никак не свободный от предписаний интеллект. По итогу эти программы неверно называют интеллектом, а затем начинают собирать их вместе как фрагменты компенсируя тем самым их несамодостаточность. При том забывают что биологический интеллект на фрагменты не поделен и самодостаточен.
Anonymous No.172162
16138168276270.jpg (21 KB, 501x298)
>>171602
>Попытка этого аутиста нарисовать тот же самый город с другого ракурса закончится неудачей
А у тебя - успехом, умник? Откуда такие познания в аутистах?
>потому что на это требуется воображение
3Д-моделирование. Машины справляются с этим лучше людей. На "невидимую" сторону зданий налепит текстурки с увиденной и никаких проблем. Ты со своим воображением лучше не справишься.
>нельзя получить
Тыскозал?
Проблема создания ИИ пока именно в МАЛОЙ МОЩНОСТИ, не способной смоделировать взаимосвязи охуллиардов нейронов мозга. Но никакого волшебства в мозге при этом нет. Просто охуллиарды нейронов и возможностей их взаимодействия. То, что ты называешь творчеством, это "помехи", окольные нейронные дорожки из пункта А в пункт Б через соседние нейроны, где может храниться самая разная информация, вызывающая неожиданные (но чаще - ожидаемые) ассоциации.

Ты думаешь, что нейросеть не сможет вместо увиденных текстурок зданий налепить с обратного ракурса какой-нибудь хтонический пиздец с шевелящимися щупальцами? Да вообще без проблем, хоть котиков налепит, хоть бездну космоса. Проблема будет лишь в том, что ты, со своими ограниченно-дефолтными ассоциативными связями не восприймешь это, как творчество. Но это проблема лишь до тех пор, пока нейросеть не изучила твои дефолтные, повторяюсь, ассоциации.

Хорошая "китайская комната" полностью проходит тест Тьюринга. О чём говорить, если дохуя людей могут часами перекидываться в тредах говном с чат-ботами.

Нейросетки успешно учатся распознавать изображения (и похуй, что их можно наебать другими нейросетями), просто обучаясь у людей. Точно так же нейросеть сможет распознавать "творчество". А после этого сможет и воспроизводить его. Вопрос, сможет ли ИИ превзойти в творчестве всех людей - остаётся открыт, т.к. именно люди задают правила игры в "творчество", но превзойти в этом лично тебя - вопрос недалёкого времени.
Anonymous No.172222
>>172054
Была, м.б. даже где-то здесь годнейшая паста про эволюции, начиная с простейших органических соединений. Уже на этом этапе можно постулировать наличие интеллекта: есть задачи (самовоспроизводство), есть информация, есть решение задач посредством анализа информации. В принципе, это даже у неорганики можно постулировать, но у органики есть ещё одна прекрасная черта: тенденция усложняться и повышать свою эффективность в решении своих задач. Нет никакого качественного перехода между интеллектом человека и интеллектом бактерии. Разница только в мощности "интеллекта" организма. Если мы сможем смоделировать поведение бактерии, вируса, водоросли, метана - вопрос моделирования человека будет лишь вопросом вычислительной мощности.
Anonymous No.172350
>>172162
>>172222
Машинное обучение открывает невиданные перспективы в нейронауке, но у вас уже всё просто, всё очень просто. Стоит только прихуярить побольше маняторов.

Гуглите blue brain project
И вообще побольше гуглите, манюхи.
>Если сознание появляется в результате критической массы взаимодействий — тогда, это может быть возможно. Но мы действительно не понимаем, что есть сознание, поэтому трудно об этом говорить.

Если, дурачки, ЕСЛИ
Вот как только взлетит так и приходите кудахтать.
Anonymous No.172440
16138192314250.gif (139 KB, 443x624)
>>172350
>ЕСЛИ сознание появляется
Сначала докажи, что оно вообще существует и может в какие-то функции, а не является лишь рационализацией безальтернативно принятых решений бездушной подсознательной математикой стимулов.
Anonymous No.172578
скоро боты станут умнее нас... Посмотрим, что будет лет через 50. ЗНАЮ КРУТОЕ АНИМЕ НА ЭТУ ТЕМУ. Называется "Слабый удар"
Anonymous No.172583
>>172578
без пульса
Anonymous No.174482
>>171519 (OP)
>Ты понимаешь, что это означает?
Что AI Dungeon сможет давать адекватные ответы?
Anonymous No.174483
>>171549
>как бы ИИ не зохватил мир
нахуя ему это
>люди, которые будут располагать всем что может дать самый современный ИИ будут косить бабло как никогда раньше
похуй на них вообще
Anonymous No.174495
>>172578
>ЗНАЮ КРУТОЕ АНИМЕ
Это значит, что ты пидар
>>172222
>вопрос моделирования человека будет лишь вопросом вычислительной мощности.
Вот интересно, сколько минимум нужно, как это вообще будет выглядеть. Это же типо эмулятор, должна еще мощнее система быть, чем зашитая в "железе". Или сразу будут нейропроц пилить
Anonymous No.174512
>>174482
> Что AI Dungeon сможет давать адекватные ответы?
Да. Еще не человек, но уже не цепь Маркова.
Anonymous No.174514
>>174512
Это не может не радовать
Anonymous No.174518
>>174512
>Да
Нет. Будет сыпать уже данными людьми ответами, а на нестандартное продолжить генерировать бред.
Anonymous No.174522
>>174518
Квалификацию имеешь, чтобы такие утверждения делать?
Anonymous No.174524
>>174522
Не имею, но ЧУВСТВУЮ, что гораздо важнее
Anonymous No.174527
>>174524
> Не имею,
Тогда зачем споришь о том, в чем не разбираешься?
> ЧУВСТВУЮ
Какие нахуй чувства? Что ты несешь? Всё решает количество параметров. Сравни количество нейронов червяка, и человека. Если сделаем нейронку с 300 триллионом параметров, то такая нейронка поумнее тебя выйдет.
Anonymous No.174529
>>174527
>Тогда зачем споришь о том, в чем не разбираешься?
Ты тоже не разбираешься, тебе написали триллионы и ты уже обоссался от того как это круто.
>Какие нахуй чувства? Что ты несешь?
То и несу, живу имею опыт, тыкал всякие генераторы текста и вообще как поисковики работают, может сформулировать не смогу научно, но чувствую, что говно и даже не близко к тому что нужно, хули непонятно.
>Всё решает количество параметров.
Решает структура
Anonymous No.174533
>>174529
> Решает структура
Структура решает только производительность. Любую задачу (абсолютно любую, кроме нерешаемых алгоритмически проблема остановки) можно решить простым перебором.

Или коротко: любой мыслительный процесс сводится к поиску среди всех возможных вариантов

Вот только для этого на обычных компьютерах может потребоваться тысячи лет. Вот и придумывают эвристики поиска, и нейроночки одни из них.
Anonymous No.174539
>>174518
Люди поступают точно так же: теряются в незнакомых ситуациях. Помогает только опыт, но и нейронки учатся на опыте. У нейронки опыта будет явно больше, чем у тебя, так что в "нестандартных ситуациях" скорей обосрёшься ты, чем нейронка.
Anonymous No.174551
>>174539
> будит!
Ну, конечно, будет, когда-нибудь через двадцать лет
Anonymous No.174562
>>174551
Собираешься не прожить 20 лет?
Anonymous No.174575
>>174562
Мы же про только выпущенную гуглом сетку, что она уже типо будет давать разумные ответы, а не просто схаванную инфу
Anonymous No.174582
>>171519 (OP)
>скоро модель обучат
Как скоро?
>можно будет потрогать своими руками
С чего ты это решил?
Anonymous No.174917
>>174582
> Как скоро?
Ну смотри, Switch-Transformer быстрее обычного трансформера в 7 раз. Это значит, что уже на существующем оборудовании можно будет обучить.
> С чего ты это решил?
Потому что опенсорс. Любой может на TPU обучить и выложить предобученную сеть.
Anonymous No.174918
>>174917
>можно
Мне бы хоть примерные сроки по времени. Через сколько лет её хоть кто-нибудь обучит?
Anonymous No.174920
>>174918
Через год уже еще какую-нибудь сеть выпустят с миллиардом триллионов параметров
Anonymous No.174921
>>174918
Я в гугле не работаю. Откуда мне знать, когда трейнить будут. Где-то через год. Может через полгода. Сама нейросеть учится за часы, что тянут, хуй знает. С GPT тоже самое было.
>>174920
Моэчую этого. Может даже через полгода, если учитывать что у прогресса скорость экспоненциальная.
Anonymous No.174922
>>174921
>>174920
А для чего такой тип нейросетей используют?
Anonymous No.174924
>>174922
NLP, image generation, sound/speech/music generation - основные юзкейсы трансформеров.
Anonymous No.175104
>>171519 (OP)
Какая милая лолечка :3
Anonymous No.175140
>>175104
> лолечка
> грудь третьего размера
Охлол
Anonymous No.186592
16253285971200.jpg (78 KB, 490x489)
Опять материалистические промытки-научпоперы, обчитались фентези про ИИ и прочие покорения космоса.
Anonymous No.186594
>>171519 (OP)
Поридж, спок
Anonymous No.186595
>>186594
Что за нейросеть пишет везде "спок"? Нейросеть червя пидора, наверное.
Anonymous No.186608
>>186595
Это колчеговно. Некробампами балуется, проверяет нервную систему одмина.
Пост отредактировал Anonymous

[Назад] [Обновить тред] [Вверх] [Каталог] [ Автообновление ]
62 / 8 / 25

[Ответить в тред] Ответить в тред

15000

Ответ в тред No.171519
Настройки
Избранное
Топ тредов