Анализ информации из социальных сетей

import vk_api
import config as cnf
import json
import csv
import requests
import re
 
params = {
    'owner_id': cnf.owner_id,
    'v': '5.60',
    'filter': 'all',
    'fields': 'cover ',
    'token': cnf.token
}
 
def main():
    # Авторизация
    vk_session = vk_api.VkApi(login=cnf.login, password=cnf.password)
    vk_session.auth()
    vk = vk_session.get_api()
 
    try:
        vk_session.auth(token_only=True)
    except vk_api.AuthError as error_msg:
        print(error_msg)
        return
 
    count = 1
 
    tools = vk_api.VkTools(vk_session)
 
    wall = tools.get_all(
        'wall.get',
        count,
        params
    )
 
    items = wall['items']
    for post in items:
        get_data(post)
 
 
    try:
        save_json(wall)
        print('сохранили в json')
    except:
        print('ошибка сохранения в json')
 
 
def get_data(post):
    '''
    Обрабатываем запрос
    '''
    try:
        post_id = post['id']
    except:
        post_id = 'null'
 
    try:
        post_date = post['date']
    except:
        post_date = 'null'
 
    try:
        post_attachments = get_attachment_data(post)
    except:
        post_attachments = '* * *'
 
    try:
        post_text = post['text']
    except:
        post_text = '* * *'
 
    data = {
        'id': post_id,
        'date': post_date,
        'attachments': post_attachments,
        'text': post_text
    }
 
    return data
 
 
def get_attachment_data(post):
 
    if 'attachments' in post:
        list = post['attachments']
 
        photos_list = []
        videos_list = []
        docs_f_list = []
        links_list = []
        pages_list = []
 
        output_attachments_list = [photos_list, videos_list, docs_f_list]
 
        for i in list:
            if i['type'] == 'photo':
                i_photo = i['photo']['id']
                photos_list.append(i_photo)
 
            elif i['type'] == 'video':
                videos_list.append(get_video_link(i['video']))
 
 
            elif i['type'] == 'doc' and i['doc']['size'] < 10**7:
                docs_f_list.append(i['doc']['url'])
 
            elif i['type'] == 'link':
                links_list.append(i['link']['url'])
 
            elif i['type'] == 'page':
                post.page = i['page']['view_url']
 
        print(output_attachments_list)
    return output_attachments_list
 
 
def get_video_link(video):
    '''
    Return video url from VK video object.
    Args:
    video -- VK video object
    '''
    url = ('{}video.get?owner_id={}&videos={}_{}_{}&count=1&extended=0&v=5.80'
            '&access_token={}').format(
                VK_BASE_URL,
                video['owner_id'],
                video['owner_id'],
                video['id'],
                video['access_key'],
                cnf.token
            )
    video_obj = requests.get(url).json()['response']['items'][0]
    video_url = video_obj['player']
 
    try:
        video_platform = video_obj['platform'].lower()
    except KeyError:
        video_url = 'https://vk.com/video{}_{}'.format(video_obj['owner_id'], video_obj['id'])
        return video_url
 
    if video_platform == 'youtube':
        watch_v = re.search(r'\/([^\/]+)\?', video_url).group(1)
        video_url = 'https://www.youtube.com/watch?v=' + watch_v
 
    elif video_platform == 'vimeo':
        vimeo_video_id = re.search(r'\/([^\/]+)\?', video_url).group(1)
        video_url = 'https://vimeo.com/' + vimeo_video_id
 
    return video_url
 
def get_photo_link(photo_id):
    ACCESS_TOKEN = cnf.token
    params = {
        'v': 5.60,
        'access_token': ACCESS_TOKEN,
        'photos': photo_id
    }
    photo = requests.get(
        'https://api.vk.com/method/video.get',
        params
    )
    return video.json()['response']["items"][0]['player']
 
 
def save_photo(photo_id):
    ACCESS_TOKEN = cnf.token
    params = {
        'v': 5.60,
        'access_token': ACCESS_TOKEN,
        'photos': photo_id,
        'photo_sizes': 1
    }
    photo = requests.get(
        'https://api.vk.com/method/photos.getById',
        params
    )
    r = requests.get(
        photo.json()['response'][0]["sizes"][-1]['src'],
    )
 
    with open('img/%s.jpg' % photo.json()['response'][0]["id"], 'wb') as f:
        f.write(r.content)
 
 
def save_doc(doc_id):
    params = {
        'v': API_VERSION,
        'access_token': ACCESS_TOKEN,
        'docs': doc_id
    }
    doc = requests.get(
        'https://api.vk.com/method/docs.getById',
        params
    )
    r = requests.get(
        doc.json()['response'][0]["url"],
    )
    with open('docs/%s.%s' % (doc.json()['response'][0]["title"], doc.json()['response'][0]["ext"]), 'wb') as f:
        f.write(r.content)
 
 
def save_csv(data):
    with open('posts_data.csv', 'a') as cfile:
        writer = csv.writer(cfile, delimiter=",")
        writer.writerow((
            data['id'],
            data['date'],
            data['attachments'],
            data['text']
        ))
 
 
def save_json(data):
    json_file = 'wall.json'
    with open(json_file, 'w') as jfile:
        json.dump(data, jfile, indent=2, ensure_ascii=False)
 
 
if __name__ == '__main__':
    main()

dct = {'id': 26, 'date': 1498774651, 'attachments': [['https://pp.userapi.com/c837424/v837424161/bdaa2/aabdwDVPtOg.jpg', 'https://pp.userapi.com/c837424/v837424161/bdaa9/r_7_MM1F33Q.jpg', 'https://pp.userapi.com/c837424/v837424161/bdaba/IKKf_LYjjT0.jpg', 'https://pp.userapi.com/c837424/v837424161/bdac1/2x1AZI2tEkU.jpg'], [], []], 'text': 'Гибкий телефон Samsung Galaxy Skin\n\nИногда, от услышанного уши сворачиваются трубочкой. Бывает, в трубочку можно свернуть ноутбук. А дизайнер Хейон Ю (Heyon You) создал концепт мобильного телефона Samsung Galaxy Skin, который также можно будет свернуть в трубочку, да и вообще гнуть его по-всякому, как душе угодно! \nОбычно дизайнеры-одиночки, создавая концепт нового мобильного телефона, просто вешают на него для красоты логотип какого-нибудь крупного производителя мобильной техники. А вот в случае с Хейоном Ю и его телефоном Samsung Galaxy Skin все произошло совсем по-другому! Компания Samsung сама заказала ему дизайн потенциального мобильного телефона Samsung Galaxy, если бы он был гибким. И Ю справился с поставленной перед ним задачей на твердую пятерку! Теперь посмотрим, как справится с его идеями Samsung. \nПо задумке Хейона Ю, реализованной им в концепте мобильного телефона Samsung Galaxy Skin, гибкость не даст аппарату никаких особенных новых технических функциональных возможностей. Зато она сделает его куда более удобным и практичным. \nЕсли раньше у всякого телефона был свой форм-фактор (моноблок, слайдер, раскладушка, ротатор, браслет и т.д.), то Samsung Galaxy Skin, благодаря своей гибкости, сможет иметь практический любой из этих типов корпуса. Более того, с каждым из них будет ассоциироваться та или иная функция этого мобильного телефона. \nК примеру, если просто сложить Samsung Galaxy Skin вдовое, то это будет обычный мобильный телефон, если сложить его вдвое и чуть раздвинуть кончики, то так будет очень хорошо проводить видеосвязь. Повернув аппарат набок и чуть согнув его бока, вы получите аудио-видеосистему, повернув набок и чуть согнув посередине – настольный будильник. Выставив один из кончиков телефона на высоте параллельно основанию, вы сделаете мультимедийный проектор.'}
 
def listmerge(lstlst):
    all=[]
    for lst in lstlst:
      all=all+lst
    return all
 
 
images = [f"<img src={img}>"  for img in listmerge(dct['attachments'])]
 
title = dct['text'].split('\n\n')[0]
 
print(title)
print(*images, sep='\n')

def get_attachment_data(post):
 
    if 'attachments' in post:
        list = post['attachments']
 
        photos_list = []
        videos_list = []
        docs_f_list = []
        links_list = []
        pages_list = []
 
        output_attachments_list = [photos_list, videos_list, docs_f_list]
 
        for i in list:
            if i['type'] == 'photo':
                i_photo = i['photo']['photo_604']
                processed_image = ('[img]'+i_photo+'[/img]')
                photos_list.append(processed_image)
 
            elif i['type'] == 'video':
                videos_list.append(get_video_link(i['video']))
 
 
            elif i['type'] == 'doc' and i['doc']['size'] < 10**7:
                docs_f_list.append(i['doc']['url'])
 
            elif i['type'] == 'link':
                links_list.append(i['link']['url'])
 
            elif i['type'] == 'page':
                post.page = i['page']['view_url']
 
    return output_attachments_list

import requests
import time
import json
import config as cnf
 
def main():
    count = 2
    offset = 0
 
    while True:
        time.sleep(1)
        r = requests.get(
            'https://api.vk.com/method/wall.get',
            params={
                'owner_id': cnf.owner_id,
                'count': count,
                'offset': offset,
                'access_token': cnf.token,
                'version':5.60
            }
        )
        posts = r.json()['response']
 
 
 
 
if __name__ == '__main__':
    main()