Download from onedrive curl

@Serega_9 · Регистрация: 18.05.2018

Студворк — интернет-сервис помощи студентам

Здравствуйте!
Есть ссылка типа https://onedrive.live.com/view... AJjkjh7pОg
на книгу excel в Onedrive которую надо распарсить. Попробовал скачать с помощью curl по этой ссылке скачивание происходит только одной страницы (книга весит 654кб а скачивает 80кб).
В правом верхнем углу есть кнопка "скачать" на ней не висит ссылка в виде <a href..></a>
если я правильно понимаю обрабатывает ее скрипт.
ПОЖАЛУЙСТА подскажите желательно с примером как с помощью curl эмитировать нажатие на кнопку, я так понимаю что необходимо указывать информацию в заголовках curl_setopt но что и как не пойму.
Новичок в php и первый раз столкнулся с парсингом.

Пример заголовков при нажатии на кнопку:

Request URL: https://excel.officeapps.live.... luster=IE1
Request Method: GET
Status Code: 200
Remote Address: 13.107.6.171:443
Referrer Policy: origin-when-cross-origin
cache-control: private
content-disposition: attachment; filename*=UTF-8''%D0%94%D0%BD%D0%BE%D1%83%D0%B3%D0%BB% D1%83%D0%B1%D0%BB%D0%B5%D0%BD%D0%B8%D0%B 5-2018.xlsx
content-length: 663769
content-type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet
date: Fri, 18 May 2018 05:58:19 GMT
p3p: CP="CAO DSP COR ADMa DEV CONi TELi CUR PSA PSD TAI IVDi OUR SAMi BUS DEM NAV STA UNI COM INT PHY ONL FIN PUR"
set-cookie: DcLcid=ui=1049&data=1033; expires=Sat, 18-Aug-2018 05:58:19 GMT; path=/; secure; HttpOnly
status: 200
strict-transport-security: max-age=31536000
timing-allow-origin: *
x-content-type-options: nosniff
x-content-type-options: nosniff
x-correlationid: 89441bd6-57e6-4fe9-b937-0ec556044f97
x-msedge-ref: Ref A: 1991D22282C249AABC1512B858DB3544 Ref B: AMS04EDGE0508 Ref C: 2018-05-18T05:58:19Z
x-officecluster: IE1
x-officefd: 17aba37649cb
x-officefe: 64b1876724f6
x-officeversion: 16.0.9415.5026
x-usersessionid: 89441bd6-57e6-4fe9-b937-0ec556044f97
xlsecscid: 89441bd6-57e6-4fe9-b937-0ec556044f97
xlsecsid: 64b1876724f6
xlswfecid: 89441bd6-57e6-4fe9-b937-0ec556044f97
:authority: excel.officeapps.live.com
:method: GET

ath: /x/_layouts/XlFileHandler.aspx?id=WOPIsrc%3Dhttps%25 3A%252F%252Fwopi%252Eonedrive%252Ecom%25 2Fwopi%252Ffiles%252FA0F97BEC9406079%252 148315%26access_token%3D4wHmnGTyBvWwRUpx %255Fzzr20TeYtroPV3Wr8%255FIVKDdiM2GLi8F MqHfmq3v8Lt0mgG7t8SsNHl4GR4GJ9XeYS3rkyNg V%255F65EUaM39OWsfPCJoHQLtgnritfySwigXZ9 E7lCkz5ZI7gOS6aXdfi9prQ83i4CCQGztoixNv5% 252D0L5Mn0YeY%26access_token_ttl%3D15284 37456576&sessionId=12.64b1876724f61.A81. 1.V25.117430C6lzfELfyuHc9%2FdvhjK14.5.ru-RU5.en-US24.0a0f97bec9406079-Private1.S1.N14.16.0.9415.502614.5.ru-RU5.en-US1.V1.N0.1.S&workbookType=FullWorkbook& NoAuth=1&waccluster=IE1
:scheme: https
accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
accept-encoding: gzip, deflate, br
accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7
cookie: wla42=; mkt=ru-RU; DcLcid=ui=1049&data=1033; IE1-Excel-ARRAffinity=94e2d60ae7a841041b88aae630cf faeedd2761e9ffd3c15f8a66fe43f2d77f78; BP=l=SDX.Skydrive&FR=&ST=; MUID=1CC7ADE450486D1238FEA60F54486EF7; wlidperf=latency=292; LDH=0; E=P:n328QIS81Yg=:TsyfXeZUPDrxElbXE3Lg7dB NY+it06Xw53Cri5t188g=:F; xid=a3a414db-93b4-48c2-b971-dfb7f9851b8c&&RD00155D5EC05D&178; xidseq=177; LD=a3a414db-93b4-48c2-b971-dfb7f9851b8c_0b1fd704b06_15347_152662304 4641=L3127; wlfonts=1
referer: https://excel.officeapps.live.... ders&wdp=3
upgrade-insecure-requests: 1
user-agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36[/PHP][/PHP]

ytf · 21.05.2018, 12:33

с помощью программы mitmproxy можно сравнить заголовки, отправляемые скриптом, и заголовки, отправляемые браузером

@Serega_9 · 23.05.2018, 17:27 **[ТС]**

Вопрос решен, скачивание книги происходило изменением в строке запроса view на download, но файл не открывался (весил немного больше скаченного с помощью браузера) выскакивала ошибка, открыл с помощью блокнота что скачалось, оказывается, заголовки которые установил в curl_setopt писались в начало файла, убрал строку с курл опцией заголовков, Все заработало. Может кому пригодиться.

ytf · 23.05.2018, 20:23

да никому не пригодится, ошибка частая, тему лучше удалить

Новые блоги и статьи Все статьи Все блоги /
Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: показать затраченные материалы за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В качестве. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.

@Serega_9 0 / 0 / 0 Регистрация: 18.05.2018 Сообщений: 4

	Download from onedrive curl 18.05.2018, 09:48. Показов 1145. Ответов 3 Метки нет (Все метки) Здравствуйте! Есть ссылка типа https://onedrive.live.com/view... AJjkjh7pОg на книгу excel в Onedrive которую надо распарсить. Попробовал скачать с помощью curl по этой ссылке скачивание происходит только одной страницы (книга весит 654кб а скачивает 80кб). В правом верхнем углу есть кнопка "скачать" на ней не висит ссылка в виде <a href..></a> если я правильно понимаю обрабатывает ее скрипт. ПОЖАЛУЙСТА подскажите желательно с примером как с помощью curl эмитировать нажатие на кнопку, я так понимаю что необходимо указывать информацию в заголовках curl_setopt но что и как не пойму. Новичок в php и первый раз столкнулся с парсингом. Пример заголовков при нажатии на кнопку: Request URL: https://excel.officeapps.live.... luster=IE1 Request Method: GET Status Code: 200 Remote Address: 13.107.6.171:443 Referrer Policy: origin-when-cross-origin cache-control: private content-disposition: attachment; filename=UTF-8''%D0%94%D0%BD%D0%BE%D1%83%D0%B3%D0%BB% D1%83%D0%B1%D0%BB%D0%B5%D0%BD%D0%B8%D0%B 5-2018.xlsx content-length: 663769 content-type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet date: Fri, 18 May 2018 05:58:19 GMT p3p: CP="CAO DSP COR ADMa DEV CONi TELi CUR PSA PSD TAI IVDi OUR SAMi BUS DEM NAV STA UNI COM INT PHY ONL FIN PUR" set-cookie: DcLcid=ui=1049&data=1033; expires=Sat, 18-Aug-2018 05:58:19 GMT; path=/; secure; HttpOnly status: 200 strict-transport-security: max-age=31536000 timing-allow-origin: x-content-type-options: nosniff x-content-type-options: nosniff x-correlationid: 89441bd6-57e6-4fe9-b937-0ec556044f97 x-msedge-ref: Ref A: 1991D22282C249AABC1512B858DB3544 Ref B: AMS04EDGE0508 Ref C: 2018-05-18T05:58:19Z x-officecluster: IE1 x-officefd: 17aba37649cb x-officefe: 64b1876724f6 x-officeversion: 16.0.9415.5026 x-usersessionid: 89441bd6-57e6-4fe9-b937-0ec556044f97 xlsecscid: 89441bd6-57e6-4fe9-b937-0ec556044f97 xlsecsid: 64b1876724f6 xlswfecid: 89441bd6-57e6-4fe9-b937-0ec556044f97 :authority: excel.officeapps.live.com :method: GET ath: /x/_layouts/XlFileHandler.aspx?id=WOPIsrc%3Dhttps%25 3A%252F%252Fwopi%252Eonedrive%252Ecom%25 2Fwopi%252Ffiles%252FA0F97BEC9406079%252 148315%26access_token%3D4wHmnGTyBvWwRUpx %255Fzzr20TeYtroPV3Wr8%255FIVKDdiM2GLi8F MqHfmq3v8Lt0mgG7t8SsNHl4GR4GJ9XeYS3rkyNg V%255F65EUaM39OWsfPCJoHQLtgnritfySwigXZ9 E7lCkz5ZI7gOS6aXdfi9prQ83i4CCQGztoixNv5% 252D0L5Mn0YeY%26access_token_ttl%3D15284 37456576&sessionId=12.64b1876724f61.A81. 1.V25.117430C6lzfELfyuHc9%2FdvhjK14.5.ru-RU5.en-US24.0a0f97bec9406079-Private1.S1.N14.16.0.9415.502614.5.ru-RU5.en-US1.V1.N0.1.S&workbookType=FullWorkbook& NoAuth=1&waccluster=IE1 :scheme: https accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8 accept-encoding: gzip, deflate, br accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7 cookie: wla42=; mkt=ru-RU; DcLcid=ui=1049&data=1033; IE1-Excel-ARRAffinity=94e2d60ae7a841041b88aae630cf faeedd2761e9ffd3c15f8a66fe43f2d77f78; BP=l=SDX.Skydrive&FR=&ST=; MUID=1CC7ADE450486D1238FEA60F54486EF7; wlidperf=latency=292; LDH=0; E=P:n328QIS81Yg=:TsyfXeZUPDrxElbXE3Lg7dB NY+it06Xw53Cri5t188g=:F; xid=a3a414db-93b4-48c2-b971-dfb7f9851b8c&&RD00155D5EC05D&178; xidseq=177; LD=a3a414db-93b4-48c2-b971-dfb7f9851b8c_0b1fd704b06_15347_152662304 4641=L3127; wlfonts=1 referer: https://excel.officeapps.live.... ders&wdp=3 upgrade-insecure-requests: 1 user-agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36[/PHP][/PHP] 0

ytf 276 / 259 / 185 Регистрация: 15.08.2017 Сообщений: 1,483
	21.05.2018, 12:33
	с помощью программы mitmproxy можно сравнить заголовки, отправляемые скриптом, и заголовки, отправляемые браузером 1

@Serega_9 0 / 0 / 0 Регистрация: 18.05.2018 Сообщений: 4
	23.05.2018, 17:27 [ТС]
	Вопрос решен, скачивание книги происходило изменением в строке запроса view на download, но файл не открывался (весил немного больше скаченного с помощью браузера) выскакивала ошибка, открыл с помощью блокнота что скачалось, оказывается, заголовки которые установил в curl_setopt писались в начало файла, убрал строку с курл опцией заголовков, Все заработало. Может кому пригодиться. 0

ytf 276 / 259 / 185 Регистрация: 15.08.2017 Сообщений: 1,483
	23.05.2018, 20:23
	да никому не пригодится, ошибка частая, тему лучше удалить 0

Опции темы