Анализ данных формы SEC EDGAR XML с дочерними узлами с использованием BeautifulSoup

Я пытаюсь очистить отдельные фонды из формы SEC N-PORT-P/A, используя красивый суп и xml. Типичная отправка, описанная ниже и [ссылка здесь][1], выглядит так:

<edgarSubmission xmlns = "http://www.sec.gov/edgar/nport" xmlns:com = "http://www.sec.gov/edgar/common" xmlns:ncom = "http://www.sec.gov/edgar/nportcommon" xmlns:xsi = "http://www.w3.org/2001/XMLSchema-instance">
<headerData>
<submissionType>NPORT-P/A</submissionType>
<isConfidential>false</isConfidential>
<accessionNumber>0001145549-23-004025</accessionNumber>
<filerInfo>
<filer>
<issuerCredentials>
<cik>0001618627</cik>
<ccc>XXXXXXXX</ccc>
</issuerCredentials>
</filer>
<seriesClassInfo>
<seriesId>S000048029</seriesId>
<classId>C000151492</classId>
</seriesClassInfo>
</filerInfo>
</headerData>
    <formData>
        <genInfo>
        ...
        </genInfo>
        <fundInfo>
        ...
        </fundInfo>
        <invstOrSecs>
            <invstOrSec>
                <name>ARROW BIDCO LLC</name>
                <lei>549300YHZN08M0H3O128</lei>
                <title>Arrow Bidco LLC</title>
                <cusip>042728AA3</cusip>
                <identifiers>
                    <isin value = "US042728AA35"/>
                </identifiers>
                <balance>115000.000000000000</balance>
                <units>PA</units>
                <curCd>USD</curCd>
                <valUSD>114754.170000000000</valUSD>
                <pctVal>0.3967552449</pctVal>
                <payoffProfile>Long</payoffProfile>
                <assetCat>DBT</assetCat>
                <issuerCat>CORP</issuerCat>
                <invCountry>US</invCountry>
                <isRestrictedSec>N</isRestrictedSec>
                <fairValLevel>2</fairValLevel>
                <debtSec>
                    <maturityDt>2024-03-15</maturityDt>
                    <couponKind>Fixed</couponKind>
                    <annualizedRt>9.500000000000</annualizedRt>
                    <isDefault>N</isDefault>
                    <areIntrstPmntsInArrs>N</areIntrstPmntsInArrs>
                    <isPaidKind>N</isPaidKind>
                </debtSec>
                <securityLending>
                    <isCashCollateral>N</isCashCollateral>
                    <isNonCashCollateral>N</isNonCashCollateral>
                    <isLoanByFund>N</isLoanByFund>
                </securityLending>
            </invstOrSec>

Arrow Bidco LLC является облигацией в портфеле, и некоторые ее характеристики включены в заявку (CUSIP, CIK, баланс, срок погашения и т. д.). Я ищу лучший способ перебрать каждую отдельную ценную бумагу (investOrSec) и собрать характеристики каждой ценной бумаги в фрейме данных. Код, который я сейчас использую:

import numpy as np
import pandas as pd
import requests
from bs4 import BeautifulSoup

header = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36", "X-Requested-With": "XMLHttpRequest"}

n_port_file = requests.get("https://www.sec.gov/Archives/edgar/data/1618627/000114554923004968/primary_doc.xml", headers=header, verify=False)
n_port_file_xml = n_port_file.content
soup = BeautifulSoup(n_port_file_xml,'xml')

names = soup.find_all('name')
lei = soup.find_all('lei')
title = soup.find_all('title')
cusip = soup.find_all('cusip')
....
maturityDt = soup.find_all('maturityDt')
couponKind = soup.find_all('couponKind')
annualizedRt = soup.find_all('annualizedRt')

Затем итерация по каждому списку для создания фрейма данных на основе значений в каждой строке.

fixed_income_data = []
for i in range(0,len(names)):
    rows = [names[i].get_text(),lei[i].get_text(),
        title[i].get_text(),cusip[i].get_text(),
        balance[i].get_text(),units[i].get_text(),
        pctVal[i].get_text(),payoffProfile[i].get_text(),
        assetCat[i].get_text(),issuerCat[i].get_text(),
        invCountry[i].get_text(),couponKind[i].get_text()
        ]
    fixed_income_data.append(rows)

fixed_income_df = pd.DataFrame(equity_data,columns = ['name',
                         'lei',
                         'title',
                         'cusip',
                         'balance',
                         'units',
                         'pctVal',
                         'payoffProfile',
                         'assetCat',
                         'issuerCat',
                         'invCountry'
                         'maturityDt',
                         'couponKind',
                         'annualizedRt'
                         ], dtype = float)

Это прекрасно работает, когда включены все части информации, но часто есть одна переменная, которая не учитывается. Часть формы может быть пустой, или категория эмитента может быть заполнена неправильно, что приводит к ошибке IndexError. В этом портфеле 127 ценных бумаг, которые я смог разобрать, но, возможно, отсутствует годовая доходность для одной ценной бумаги, что лишает возможности аккуратно создать фрейм данных.

Кроме того, для портфелей, содержащих как ценные бумаги с фиксированным доходом, так и долевые ценные бумаги, долевые ценные бумаги не возвращают информацию для дочернего объекта DebtSecs. Есть ли способ перебирать эти данные, одновременно очищая их самым простым способом? Даже добавление «NaN» для дочерних элементов DebtSec, на которые не ссылаются ценные бумаги, было бы правильным ответом. Любая помощь приветствуется! [1]: https://www.sec.gov/Archives/edgar/data/1618627/000114554923004968/primary_doc.xml