Download from onedrive curl

@Serega_9 · Регистрация: 18.05.2018

Студворк — интернет-сервис помощи студентам

Здравствуйте!
Есть ссылка типа https://onedrive.live.com/view... AJjkjh7pОg
на книгу excel в Onedrive которую надо распарсить. Попробовал скачать с помощью curl по этой ссылке скачивание происходит только одной страницы (книга весит 654кб а скачивает 80кб).
В правом верхнем углу есть кнопка "скачать" на ней не висит ссылка в виде <a href..></a>
если я правильно понимаю обрабатывает ее скрипт.
ПОЖАЛУЙСТА подскажите желательно с примером как с помощью curl эмитировать нажатие на кнопку, я так понимаю что необходимо указывать информацию в заголовках curl_setopt но что и как не пойму.
Новичок в php и первый раз столкнулся с парсингом.

Пример заголовков при нажатии на кнопку:

Request URL: https://excel.officeapps.live.... luster=IE1
Request Method: GET
Status Code: 200
Remote Address: 13.107.6.171:443
Referrer Policy: origin-when-cross-origin
cache-control: private
content-disposition: attachment; filename*=UTF-8''%D0%94%D0%BD%D0%BE%D1%83%D0%B3%D0%BB% D1%83%D0%B1%D0%BB%D0%B5%D0%BD%D0%B8%D0%B 5-2018.xlsx
content-length: 663769
content-type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet
date: Fri, 18 May 2018 05:58:19 GMT
p3p: CP="CAO DSP COR ADMa DEV CONi TELi CUR PSA PSD TAI IVDi OUR SAMi BUS DEM NAV STA UNI COM INT PHY ONL FIN PUR"
set-cookie: DcLcid=ui=1049&data=1033; expires=Sat, 18-Aug-2018 05:58:19 GMT; path=/; secure; HttpOnly
status: 200
strict-transport-security: max-age=31536000
timing-allow-origin: *
x-content-type-options: nosniff
x-content-type-options: nosniff
x-correlationid: 89441bd6-57e6-4fe9-b937-0ec556044f97
x-msedge-ref: Ref A: 1991D22282C249AABC1512B858DB3544 Ref B: AMS04EDGE0508 Ref C: 2018-05-18T05:58:19Z
x-officecluster: IE1
x-officefd: 17aba37649cb
x-officefe: 64b1876724f6
x-officeversion: 16.0.9415.5026
x-usersessionid: 89441bd6-57e6-4fe9-b937-0ec556044f97
xlsecscid: 89441bd6-57e6-4fe9-b937-0ec556044f97
xlsecsid: 64b1876724f6
xlswfecid: 89441bd6-57e6-4fe9-b937-0ec556044f97
:authority: excel.officeapps.live.com
:method: GET

ath: /x/_layouts/XlFileHandler.aspx?id=WOPIsrc%3Dhttps%25 3A%252F%252Fwopi%252Eonedrive%252Ecom%25 2Fwopi%252Ffiles%252FA0F97BEC9406079%252 148315%26access_token%3D4wHmnGTyBvWwRUpx %255Fzzr20TeYtroPV3Wr8%255FIVKDdiM2GLi8F MqHfmq3v8Lt0mgG7t8SsNHl4GR4GJ9XeYS3rkyNg V%255F65EUaM39OWsfPCJoHQLtgnritfySwigXZ9 E7lCkz5ZI7gOS6aXdfi9prQ83i4CCQGztoixNv5% 252D0L5Mn0YeY%26access_token_ttl%3D15284 37456576&sessionId=12.64b1876724f61.A81. 1.V25.117430C6lzfELfyuHc9%2FdvhjK14.5.ru-RU5.en-US24.0a0f97bec9406079-Private1.S1.N14.16.0.9415.502614.5.ru-RU5.en-US1.V1.N0.1.S&workbookType=FullWorkbook& NoAuth=1&waccluster=IE1
:scheme: https
accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
accept-encoding: gzip, deflate, br
accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7
cookie: wla42=; mkt=ru-RU; DcLcid=ui=1049&data=1033; IE1-Excel-ARRAffinity=94e2d60ae7a841041b88aae630cf faeedd2761e9ffd3c15f8a66fe43f2d77f78; BP=l=SDX.Skydrive&FR=&ST=; MUID=1CC7ADE450486D1238FEA60F54486EF7; wlidperf=latency=292; LDH=0; E=P:n328QIS81Yg=:TsyfXeZUPDrxElbXE3Lg7dB NY+it06Xw53Cri5t188g=:F; xid=a3a414db-93b4-48c2-b971-dfb7f9851b8c&&RD00155D5EC05D&178; xidseq=177; LD=a3a414db-93b4-48c2-b971-dfb7f9851b8c_0b1fd704b06_15347_152662304 4641=L3127; wlfonts=1
referer: https://excel.officeapps.live.... ders&wdp=3
upgrade-insecure-requests: 1
user-agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36[/PHP][/PHP]

ytf · 21.05.2018, 12:33

с помощью программы mitmproxy можно сравнить заголовки, отправляемые скриптом, и заголовки, отправляемые браузером

@Serega_9 · 23.05.2018, 17:27 **[ТС]**

Вопрос решен, скачивание книги происходило изменением в строке запроса view на download, но файл не открывался (весил немного больше скаченного с помощью браузера) выскакивала ошибка, открыл с помощью блокнота что скачалось, оказывается, заголовки которые установил в curl_setopt писались в начало файла, убрал строку с курл опцией заголовков, Все заработало. Может кому пригодиться.

ytf · 23.05.2018, 20:23

да никому не пригодится, ошибка частая, тему лучше удалить

Новые блоги и статьи Все статьи Все блоги /
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .
Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .

@Serega_9 0 / 0 / 0 Регистрация: 18.05.2018 Сообщений: 4

	Download from onedrive curl 18.05.2018, 09:48. Показов 1123. Ответов 3 Метки нет (Все метки) Здравствуйте! Есть ссылка типа https://onedrive.live.com/view... AJjkjh7pОg на книгу excel в Onedrive которую надо распарсить. Попробовал скачать с помощью curl по этой ссылке скачивание происходит только одной страницы (книга весит 654кб а скачивает 80кб). В правом верхнем углу есть кнопка "скачать" на ней не висит ссылка в виде <a href..></a> если я правильно понимаю обрабатывает ее скрипт. ПОЖАЛУЙСТА подскажите желательно с примером как с помощью curl эмитировать нажатие на кнопку, я так понимаю что необходимо указывать информацию в заголовках curl_setopt но что и как не пойму. Новичок в php и первый раз столкнулся с парсингом. Пример заголовков при нажатии на кнопку: Request URL: https://excel.officeapps.live.... luster=IE1 Request Method: GET Status Code: 200 Remote Address: 13.107.6.171:443 Referrer Policy: origin-when-cross-origin cache-control: private content-disposition: attachment; filename=UTF-8''%D0%94%D0%BD%D0%BE%D1%83%D0%B3%D0%BB% D1%83%D0%B1%D0%BB%D0%B5%D0%BD%D0%B8%D0%B 5-2018.xlsx content-length: 663769 content-type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet date: Fri, 18 May 2018 05:58:19 GMT p3p: CP="CAO DSP COR ADMa DEV CONi TELi CUR PSA PSD TAI IVDi OUR SAMi BUS DEM NAV STA UNI COM INT PHY ONL FIN PUR" set-cookie: DcLcid=ui=1049&data=1033; expires=Sat, 18-Aug-2018 05:58:19 GMT; path=/; secure; HttpOnly status: 200 strict-transport-security: max-age=31536000 timing-allow-origin: x-content-type-options: nosniff x-content-type-options: nosniff x-correlationid: 89441bd6-57e6-4fe9-b937-0ec556044f97 x-msedge-ref: Ref A: 1991D22282C249AABC1512B858DB3544 Ref B: AMS04EDGE0508 Ref C: 2018-05-18T05:58:19Z x-officecluster: IE1 x-officefd: 17aba37649cb x-officefe: 64b1876724f6 x-officeversion: 16.0.9415.5026 x-usersessionid: 89441bd6-57e6-4fe9-b937-0ec556044f97 xlsecscid: 89441bd6-57e6-4fe9-b937-0ec556044f97 xlsecsid: 64b1876724f6 xlswfecid: 89441bd6-57e6-4fe9-b937-0ec556044f97 :authority: excel.officeapps.live.com :method: GET ath: /x/_layouts/XlFileHandler.aspx?id=WOPIsrc%3Dhttps%25 3A%252F%252Fwopi%252Eonedrive%252Ecom%25 2Fwopi%252Ffiles%252FA0F97BEC9406079%252 148315%26access_token%3D4wHmnGTyBvWwRUpx %255Fzzr20TeYtroPV3Wr8%255FIVKDdiM2GLi8F MqHfmq3v8Lt0mgG7t8SsNHl4GR4GJ9XeYS3rkyNg V%255F65EUaM39OWsfPCJoHQLtgnritfySwigXZ9 E7lCkz5ZI7gOS6aXdfi9prQ83i4CCQGztoixNv5% 252D0L5Mn0YeY%26access_token_ttl%3D15284 37456576&sessionId=12.64b1876724f61.A81. 1.V25.117430C6lzfELfyuHc9%2FdvhjK14.5.ru-RU5.en-US24.0a0f97bec9406079-Private1.S1.N14.16.0.9415.502614.5.ru-RU5.en-US1.V1.N0.1.S&workbookType=FullWorkbook& NoAuth=1&waccluster=IE1 :scheme: https accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8 accept-encoding: gzip, deflate, br accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7 cookie: wla42=; mkt=ru-RU; DcLcid=ui=1049&data=1033; IE1-Excel-ARRAffinity=94e2d60ae7a841041b88aae630cf faeedd2761e9ffd3c15f8a66fe43f2d77f78; BP=l=SDX.Skydrive&FR=&ST=; MUID=1CC7ADE450486D1238FEA60F54486EF7; wlidperf=latency=292; LDH=0; E=P:n328QIS81Yg=:TsyfXeZUPDrxElbXE3Lg7dB NY+it06Xw53Cri5t188g=:F; xid=a3a414db-93b4-48c2-b971-dfb7f9851b8c&&RD00155D5EC05D&178; xidseq=177; LD=a3a414db-93b4-48c2-b971-dfb7f9851b8c_0b1fd704b06_15347_152662304 4641=L3127; wlfonts=1 referer: https://excel.officeapps.live.... ders&wdp=3 upgrade-insecure-requests: 1 user-agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36[/PHP][/PHP] 0

ytf 276 / 259 / 185 Регистрация: 15.08.2017 Сообщений: 1,483
	21.05.2018, 12:33
	с помощью программы mitmproxy можно сравнить заголовки, отправляемые скриптом, и заголовки, отправляемые браузером 1

@Serega_9 0 / 0 / 0 Регистрация: 18.05.2018 Сообщений: 4
	23.05.2018, 17:27 [ТС]
	Вопрос решен, скачивание книги происходило изменением в строке запроса view на download, но файл не открывался (весил немного больше скаченного с помощью браузера) выскакивала ошибка, открыл с помощью блокнота что скачалось, оказывается, заголовки которые установил в curl_setopt писались в начало файла, убрал строку с курл опцией заголовков, Все заработало. Может кому пригодиться. 0

ytf 276 / 259 / 185 Регистрация: 15.08.2017 Сообщений: 1,483
	23.05.2018, 20:23
	да никому не пригодится, ошибка частая, тему лучше удалить 0