Во время передачи произошла ошибка сервера AWS EC2 Rstudio

Спустя более месяца мне удалось собрать воедино, как настроить сервер AWS EC2. Было очень сложно загружать файлы, так как существуют очень консервативные (размер) ограничения, когда это делается с помощью кнопки загрузки в Rstudio Server. Сообщение об ошибке при попытке сделать это: «Неожиданный пустой ответ от сервера».
Я не уникален в этом отношении, например. Проблемы с загрузкой больших файлов в RStudio с помощью Louis AMI Аслетта на EC2

Мне удалось использовать следующие команды через шпатлевку, и это позволило мне загружать файлы через filezilla или winscp.

sudo chown -R ubuntu /home/rstudio

sudo chmod -R 755 /home/rstudio

После того, как я использую эти команды и выхожу из системы, я больше не могу получить доступ к rstudio на экземплярах при будущих входах в систему. Я могу повторно войти в свои экземпляры через браузер, но получаю сообщение об ошибке: «Произошла ошибка во время передачи».

Все в порядке, за исключением того, что как только я использую Putty, я теряю доступ браузера к своим экземплярам.
Я думаю, это связано с тем, что команда — это смена владельца или что-то подобное. Должен ли я использовать другую команду? Если я не использую команду, я не могу подключиться между filezilla/winscp и экземпляром. Если кто-то думает опубликовать комментарий о том, что это должно быть закрыто, поскольку это проблема с оборудованием, у меня нет проблем с оборудованием. Меня интересуют правильно закодированные команды. Спасибо :)


Итак, в конце концов я понял, что здесь происходит. Размер домашнего каталога по умолчанию для AWS составляет менее 8–10 ГБ независимо от размера вашего экземпляра. Поскольку это как попытка загрузить домой, то места не хватило. Опытный пользователь Linux не попал бы в эту ловушку, но, надеюсь, любой другой пользователь Windows, незнакомый с этим, столкнувшийся с этой проблемой, увидит это. Если вы загрузите экземпляр на другой диск, это можно решить. Поскольку Louis Aslett Rstudio AMI находится в этом пространстве размером 8-10 ГБ, вам придется установить свой рабочий каталог за пределами этого домашнего каталога. Не интуитивно понятно из интерфейса сервера Rstudio. Хотя это продвинутый форум, и это ошибка новичка, я надеюсь, что никто не удалит этот вопрос, поскольку я потратил на это месяцы, и я думаю, что кто-то другой тоже это сделает.


person Joey    schedule 21.01.2016    source источник
comment
Эх, на данный момент на этом сайте очень много вопросов по этому поводу и к сожалению ответы не полные, а складывают воедино частичную картину что делать, с дырками. Я действительно не понимаю, чем это отличается, например. stackoverflow.com/questions/24891861/, в котором, например, есть строка кода, которая не работает (я пробовал - что, конечно, не означает, что это не работает) и предлагает cygwin, который больше не поддерживается должным образом и закрывает win 8.1. ..подлежит уточнению   -  person Joey    schedule 23.01.2016
comment
При поиске SO я часто нахожу, что многие люди задают именно те вопросы, на которые я ищу ответ, только для того, чтобы увидеть, что этот вопрос был закрыт модератором. Вы можете сказать, что это было потому, что это было не по теме, но это было потому, что это было тривиальной вещью для модератора. Полезно, когда кто-то предлагает другой сайт перенести вопрос, как это сделали большинство из вас, или изменить формат вопроса. Я хочу, чтобы это работало, так как я использую сервер r/rstudio в качестве инструмента программирования, и это важный шаг для доступа к нему. уточняется2   -  person Joey    schedule 23.01.2016
comment
Я думаю, что вопрос о Rstudio Server в EC2 (конкретно для вычислений, а не для хостинга) не является общим вопросом об оборудовании и программном обеспечении и не является профессиональным администрированием инфраструктуры, связанной с сервером или сетью. Однако это мое личное мнение. В любом случае, я благодарен Тому за его совет, даже несмотря на то, что я еще не дошел до конца, чтобы просто продолжать заниматься своим машинным обучением.   -  person Joey    schedule 23.01.2016
comment
Также я должен отметить, что поиск rstudio aws ec2 в Super User дает 0 совпадений, в SO - 17 совпадений. Я рад, что мой вопрос перемещен в лучшее место, но я не уверен, что он там.   -  person Joey    schedule 23.01.2016
comment
Этот вопрос был кем-то закрыт, но я получил повышение популярности вопроса, так как его просматривали очень много раз. Возможно, вам следует быть более осторожными с заключительными вопросами, так как иногда они действительно могут помочь людям, может быть, людям, у которых нет «баллов», чтобы комментировать или лайкать сообщения, но они все еще люди, и, возможно, им может быть полезна помощь.   -  person Joey    schedule 31.03.2018
comment
Также я разместил ответ на другой вопрос, подобный этому, на этом сайте, и теперь мой ответ получил наибольшее количество голосов. Я стеснялся публиковать свой собственный вопрос, но если вы ищете ответ, вы можете посмотреть его (упомянутый в вопросе). Но если у вас тоже есть проблемы с этим, взгляните на это, я рад, если я кому-то помог. Удачи   -  person Joey    schedule 31.03.2018
comment
Этот вопрос закрыт, но все еще получает много трафика, поэтому, возможно, вместо того, чтобы закрывать его, мы должны подумать, как сделать его подходящим.   -  person Joey    schedule 12.04.2020


Ответы (1)


Не меняйте права /home/rstudio, если вы не знаете, что делаете, это может вызвать неожиданные проблемы (и в вашем случае это действительно вызывает проблемы). Вместо этого скопируйте файлы с помощью filezilla или winscp во временный файл (скажем, /tmp), затем подключитесь по ssh к вашему экземпляру с помощью putty и переместите файл в каталог rstudio с помощью sudo (например, sudo mv /tmp/myfile /home/rstudio) .

person Tom    schedule 22.01.2016
comment
Спасибо, Том - очень интересно для меня, после того, как я столько времени потратил на эту проблему. Я создал новый экземпляр, заархивировал файлы и успешно смог загрузить таким образом файл размером 1 ГБ, а файл размером 4 ГБ теперь медленно попадает в папку tmp (должно занять около 4 часов) через winscp. - person Joey; 22.01.2016
comment
Файл размером 1 ГБ был мгновенно перемещен в каталог rstudio. Может быть прямая линия Putty для предоставления прав на загрузку без повреждения экземпляра, но это решение, которое вы дали, сработало для меня. Спустя немного времени, чтобы дважды проверить все на случай, если у кого-то еще возникнет эта проблема и он прочитает это, я отмечу ответ как ответ :) Теперь я также смогу загружать файлы через sudo mv /home/rstudio /tmp/myfile :) :) - person Joey; 22.01.2016
comment
Это распространенная проблема при загрузке файлов, и при необходимости ее можно автоматизировать. Вы наверняка можете изменить права o вашего каталога или даже создать выделенного пользователя на вашем экземпляре ec2 с правильными правами, но это немного сложнее, и если вам нужно только пунктуально загружать файлы, это было бы излишним. - person Tom; 22.01.2016
comment
Один совет, если вы загрузили очень большие файлы: сделайте AMI вашей машины, когда вы закончите, поэтому, если вам нужно воссоздать новую машину, вам не нужно повторно загружать все свои файлы. Также обратите внимание, что существуют продвинутые методы загрузки слишком больших файлов, например, разделение большого файла на несколько меньших частей и загрузка каждой части отдельно (многочастная загрузка). Не знаю, как это сделать в Windows, но я думаю, что это может быть способом взглянуть на это. Это можно легко сделать, например, при загрузке на S3, поэтому вы можете сделать: локальный компьютер › корзина S3 › экземпляр ec2 (если вы готовы заплатить за это несколько долларов :) ) - person Tom; 22.01.2016
comment
Спасибо, Том, это имеет смысл. Я также попробовал следующий код ssh -i thenameofmy key.pem ubuntu@InsertthepublicDNSaddress, но мне не повезло с этим. Я думаю, мне нужно было что-то поставить перед названием ключа, но главное, у нас есть довольно простое решение - очень интересное - бьюсь головой об стену уже несколько дней :) - person Joey; 22.01.2016
comment
ssh -i keyname.pem user@machine работает для ssh вашей машины, но ключ должен быть максимум chmod 600 (лучше 400). то же самое для scp в linux для копирования файлов через ssh. Если время загрузки истекло и файл слишком большой, вот хороший пример разделения tar-файла в Linux, я уверен, что вы могли бы найти аналогичный способ в Windows: superuser.com/questions/198857/ - person Tom; 22.01.2016
comment
AMI вашей машины, когда вы закончите, завораживает. У меня есть большой 244GBram EC2, дешевле со спотовыми ценами, но я должен использовать фиксированные цены, иначе я потратил бы целую вечность, повторно инициируя его каждый раз. Возможно, создание AMI при выключении было бы решением. Я изучу составную загрузку, так как думаю, что это тоже хорошая идея. Я рад заплатить, хотя я еще не уверен, что такое S3, но моя домашняя работа - что такое AMI, составная загрузка и что такое S3. может пройти какое-то время, прежде чем я смогу включить их в то, что я делаю, но здорово, что я на правильном пути с этими идеями. Большое спасибо :) - person Joey; 22.01.2016
comment
p.s. Я проголосовал за ваши ответы, но голоса не появятся, пока я не наберу 15 баллов или что-то в этом роде, просто чтобы сказать, что я не был груб, не делая этого, поэтому у меня просто нет привилегий :) - person Joey; 22.01.2016
comment
да конечно не переживай :) - person Tom; 22.01.2016
comment
Привет, Том, я принял твой ответ. для всех, кто читает это, обратите внимание, по какой-то причине мне удалось загрузить файлы в папку rstudio таким образом, но это занимает много времени (более 20 часов), и затем я не могу прочитать их в Rstudio, чтобы фактически использовать их. Возможно, все они были повреждены во время загрузки. Я могу написать код, который я использовал, чтобы попытаться сделать это, но он был просто стандартным, и я беспокоюсь, что этот вопрос все равно будет закрыт. Так как модераторы заморозили. - person Joey; 23.01.2016